Java BigQuery-去加密'；超过配额'；消息

我遇到了这条消息，我不清楚我超过了多少配额中的哪一个。我的过程包括：

• 80条螺纹（分布在8台机器上）
• <50条记录/插入
• 约5公里/记录
• 1秒延迟/插入
• 插入到约100个不同的表中（取决于特定记录-同一表的记录分组在一起）

对我来说，这是：

• <最大行大小（1Mb）
• <最大行数/秒（100K/工作台和1M/项目）
• <最大行数/请求数（~500）
• <最大字节/秒（100Mb）

我在看：

bq--ls-j-a项目的输出。这给了我工作和成功/失败的机会。从这里，我使用
bq--projectshow-j

错误输出包含以下行：

"status": {  
 "errorResult": {  
   "location": "load_job",   
   "message": "Quota exceeded: Your project exceeded quota for imports per project. For more information, see https://cloud.google.com/bigquery/troubleshooting-errors", 
  "reason": "quotaExceeded"  
}, 
"errors": [
  {
    "location": "load_job", 
    "message": "Quota exceeded: Your project exceeded quota for imports per project. For more information, see https://cloud.google.com/bigquery/troubleshooting-errors", 
    "reason": "quotaExceeded"
  }
], 

关于其他地方的建议？我算错了吗？也许是组织线程/数据的更好方法？
看起来是相关的


每日限制：每天每个表加载1000个作业（包括失败），每天每个项目加载10000个作业（包括失败）
行和单元格大小限制：

Data format     Max limit   
CSV             2 MB (row and cell size)  
JSON            2 MB (row size)  
Avro            16 MB (block size)  


每个加载作业的最大大小：CSV和JSON的所有输入文件的大小为12 TB

每个加载作业的最大文件数：10000

最有可能的
每日限额
是您正在寻找的
看起来是相关的


每日限制：每天每个表加载1000个作业（包括失败），每天每个项目加载10000个作业（包括失败）
行和单元格大小限制：

Data format     Max limit   
CSV             2 MB (row and cell size)  
JSON            2 MB (row size)  
Avro            16 MB (block size)  


每个加载作业的最大大小：CSV和JSON的所有输入文件的大小为12 TB

每个加载作业的最大文件数：10000

最有可能的
每日限额
是您正在寻找的
您是如何加载数据的？您似乎正在使用
作业。插入
而不是
tabledata.insertAll

作业。插入
以批处理模式加载数据。正如Mikhail所说，如果您使用的是
jobs.insert
方法，则每个表的导入限制为1000，即大约每90秒一次

tabledata.insertAll
允许您将数据流式传输到表中，这里是每秒10万行/表限制适用的地方。请注意，此方法有一个相关的成本，而第一批是免费的。
如何加载数据？您似乎正在使用
作业。插入
而不是
tabledata.insertAll

作业。插入
以批处理模式加载数据。正如Mikhail所说，如果您使用的是
jobs.insert
方法，则每个表的导入限制为1000，即大约每90秒一次

tabledata.insertAll
允许您将数据流式传输到表中，这里是每秒10万行/表限制适用的地方。请注意，此方法有相关的成本，而批处理一是免费的。
我可以看到，如果作业开始失败，然后继续失败。但他们没有。我经常会看到一些成功的信息夹杂着失败。事实上，有时会有很多。我可以猜测，与日历日相比，只需移动24小时就可以了，所以这可以解释你所看到的。在任何情况下，您可能希望将jobid添加到您的问题中，这样BigQuery团队的人员就能够检查您的jobid到底发生了什么，在此处发布jobid是否安全？来自BQ团队的反馈真的很好。你可以等待bigquery团队的人回复/评论你的帖子，然后你将与他们协调如何传达你的jobid。通常情况下，他们都非常擅长这一点，也就是说，当我收到403错误并带有“RateLimitOvered”原因时，我可以看到作业插入了行。现在，在批处理加载场景中，我不知道是否必须为此错误回滚，文档也不是很清楚。我的默认操作是重试，然后我希望避免在Bigquery中出现重复。有什么建议吗？我可以看到如果工作开始失败，然后继续失败。但他们没有。我经常会看到一些成功的信息夹杂着失败。事实上，有时会有很多。我可以猜测，与日历日相比，只需移动24小时就可以了，所以这可以解释你所看到的。在任何情况下，您可能希望将jobid添加到您的问题中，这样BigQuery团队的人员就能够检查您的jobid到底发生了什么，在此处发布jobid是否安全？来自BQ团队的反馈真的很好。你可以等待bigquery团队的人回复/评论你的帖子，然后你将与他们协调如何传达你的jobid。通常情况下，他们都非常擅长这一点，也就是说，当我收到403错误并带有“RateLimitOvered”原因时，我可以看到作业插入了行。现在，在批处理加载场景中，我不知道是否必须为此错误回滚，文档也不是很清楚。我的默认操作是重试，然后我希望避免在Bigquery中出现重复。有什么建议吗？“API管理器”查看报告（超过24小时跨度）：insertAll-~24K（62%）insert-~14K（36%）。这两种类型的命令都分布在大约50-100个表上，因此，在概念上达到“批处理”限制时，这些错误在启动此过程的一两个小时内就出现了。我认为每秒10万行也适用于整个项目（？）仅供参考，新限制：每秒最大行数：1000000。“API管理器”视图报告（超过24小时跨度）：insertAll-~24K（62%）insert-~14K（36%）。这两种类型的命令都分布在大约50-100个表上，因此，在概念上达到“批处理”限制时，这些错误在启动此过程的一两个小时内就出现了。我认为每秒10万行也适用于整个项目（？）仅供参考，新限制：每秒最大行数：1000000。