Google bigquery Bigquery插入-从python dict一次插入多行

Google bigquery Bigquery插入-从python dict一次插入多行,google-bigquery,Google Bigquery,如何将包含5k行的python字典插入bigquery?我在使用文档,但一次只能插入一行 如何一次插入字典中的所有5k行?如果使用pandas数据帧插入,则会出现错误NotImplementedError:Google的库还不支持Python 3 这是我的密码: 对于dict1中的行: 插入所有数据={ '行':[{'json':行}] } bigquery\u服务.tabledata().insertAll(projectd='na-sem',datasetId='Rules',tableId

如何将包含5k行的python字典插入bigquery?我在使用文档,但一次只能插入一行

如何一次插入字典中的所有5k行?如果使用pandas数据帧插入,则会出现错误
NotImplementedError:Google的库还不支持Python 3

这是我的密码:

对于dict1中的行:
插入所有数据={
'行':[{'json':行}]
}
bigquery\u服务.tabledata().insertAll(projectd='na-sem',datasetId='Rules',tableId='my\u table',body=insert\u all\u data)。执行(num\u retries=2)
数据帧法

bigquery_results_df.to_gbq('samples.test', project_id='sample', chunksize=10000, verbose=True, reauth=False)
返回错误:

NotImplementedError:Google的库还不支持Python 3


在我们为非技术人员提供的自助服务环境中,我们主要通过以下两种方式之一解决这一问题。当然-这与您的情况有多相关-取决于:)

  • 若字典是静态的,并且提前可用,那个么我们将把它上传到存储器,然后加载到bigquery——这是经典的场景

  • 如果字典是动态的,并且实际上是在应用程序(self-serve env)中动态创建的,那么我们正在构建“伪”查询,该查询包含bigquery size允许的尽可能多的包含字典数据的select语句,然后使用所选的目标表执行查询作业

  • 如下所示:

    SELECT id, itemA, itemB FROM
      (SELECT 1 as id, 'a1' as itemA, 'b1' as itemB),
      (SELECT 2 as id, 'a2' as itemA, 'b2' as itemB),
      (SELECT 3 as id, 'a3' as itemA, 'b3' as itemB)
    

    您应该能够将多行数据流传输到BigQuery,但一次调用5k可能太多了。关于Python3错误-您是否尝试使用Python2.7?