Python BigQuery-插入大于1MB的行

Python BigQuery-插入大于1MB的行,python,google-bigquery,Python,Google Bigquery,我的python应用程序正在BigQuery中存储结果数据。在代码中,我生成反映目标BQ表结构的JSON,然后插入它。 一般来说,它工作正常,但无法保存大小超过1MB的行。这是使用流式插入的限制。 我查看了谷歌API文档: 似乎Client方法,如insert\u rows或insert\u rows\u json正在下面使用insertAll方法,它使用流机制。 有没有办法从python代码中调用“标准”BigQueryInsert来插入大于1MB的行?这种情况很少发生,因此我不关心有关每日表

我的python应用程序正在BigQuery中存储结果数据。在代码中,我生成反映目标BQ表结构的JSON,然后插入它。
一般来说,它工作正常,但无法保存大小超过1MB的行。这是使用流式插入的限制。
我查看了谷歌API文档:
似乎
Client
方法,如
insert\u rows
insert\u rows\u json
正在下面使用
insertAll
方法,它使用流机制。

有没有办法从python代码中调用“标准”BigQueryInsert来插入大于1MB的行?这种情况很少发生,因此我不关心有关每日表插入计数限制的配额。

客户端库无法绕过API限制。 请参阅,写入时的行不能大于1MB

我们使用的解决方法是将NJSON中的记录以100MB的批量保存到GCS—我们使用
gcsfs
library—然后执行
bq.load()
作业

实际上,我刚刚记录了一个功能请求以增加限制,因为这是非常有限的。如果感兴趣,请确保“星”它以获得牵引力