Php 在BigQuery中插入记录的次数有限制吗?

Php 在BigQuery中插入记录的次数有限制吗?,php,google-bigquery,Php,Google Bigquery,我们正在尝试一次性插入近10万条记录!然而,该脚本正在MySql中插入所有0.1 mi记录,而类似的脚本在大查询中插入大约27K条记录后过早终止 此外,我们在终止大查询API脚本的过程中没有发现任何错误。请帮助我们了解原因,如果它BQ对插入或其他设置了任何限制 流式插入如果并行进行,效果会更好。对于大数据,请使用文件加载作业。确保正确处理错误,因为从一批行中,有些行可能失败,有些行可能通过。在处理错误时,您需要处理此问题 以下限制适用于将数据流式传输到BigQuery 最大行大小:1 MB。超

我们正在尝试一次性插入近10万条记录!然而,该脚本正在MySql中插入所有0.1 mi记录,而类似的脚本在大查询中插入大约27K条记录后过早终止


此外,我们在终止大查询API脚本的过程中没有发现任何错误。请帮助我们了解原因,如果它BQ对插入或其他设置了任何限制

流式插入如果并行进行,效果会更好。对于大数据,请使用文件加载作业。确保正确处理错误,因为从一批行中,有些行可能失败,有些行可能通过。在处理错误时,您需要处理此问题

以下限制适用于将数据流式传输到BigQuery

  • 最大行大小:1 MB。超过此值将导致无效错误。 HTTP请求大小限制:10 MB。超过此值将导致无效错误
  • 每秒最大行数:每个表每秒100000行。每秒1000000行,每个项目。超过任何一个金额都将导致QuotaExceed错误
  • 每个请求的最大行数:没有硬限制,但我们建议最多500行。批处理可以在一定程度上提高性能和吞吐量,但代价是每个请求的延迟。每个请求的行数太少以及每个请求的开销都会导致接收效率低下。每个请求的行太多,吞吐量可能会下降。我们建议每个请求使用大约500行,但对代表性数据(模式和数据大小)的实验将帮助您确定理想的批处理大小
  • 每秒最大字节数:每个表每秒100 MB。超过此金额将导致QuotaExceed错误

您可以在此处找到有关流媒体的所有信息-