Google bigquery BigQuery:超出了对列分区表的分区修改次数配额

在使用自定义

时间戳

列分区的BigQuery日期上运行大量导入CSV作业时，我遇到了这个错误

您的表超出了对列分区表的分区修改次数配额

完整错误如下：

{Location:“partition\u modifications\u per\u column\u partitioned\u table.long”；消息：“超过配额：您的表超过了对列分区表的分区修改数量配额。有关更多信息，请参阅https://cloud.google.com/bigquery/troubleshooting-errors原因：“quotaExceed”}

我不清楚：分区修改的配额是多少？它是如何被超越的

谢谢

分区修改次数的配额是多少

见
特别是：

单个作业修改的最大分区数-2000

每个作业操作（查询或加载）最多可影响2000个分区。任何影响超过2000个分区的查询或加载作业都会被Google BigQuery拒绝

每个表每天修改分区的最大次数-5000

对于一个分区表，每天最多只能修改5000个分区。可以使用附加或覆盖分区中数据的操作来修改分区。修改分区的操作包括：加载作业、将结果写入分区的查询或修改分区中数据的DML语句（INSERT、DELETE、UPDATE或MERGE）

---

如果您想经常更改数据，可以在上面的链接中查看更多详细信息。我强烈建议您删除该表，然后用新值再次上传。每次上载新表时，都会刷新限制。

我们总共有大约6500个CSV需要加载，大约110天的数据。每个csv有一个项目的一天数据。据我所知，这将导致每个csv进行一次“分区修改”——对吗？但是，我们看到在错误发生之前，只有389个CSV加载作业成功。i、 e.389分区修改后出错为什么不一次加载所有文件？如果您的csv文件包含110天的数据，则一个csv将导致110分区修改，因为其数据将写入110个分区。正如Elliott所建议的，一次加载所有文件。您总共只能修改110个分区。@ElliottBrossard谢谢-这很有道理。我还不知道为什么我被阻止在389而不是5000-但在我合并文件后这应该不是一个问题。你能提供在389分区修改后看到此错误的作业的作业id吗？常见的原因是对该表的其他写入使用了此配额。（我不需要项目id，只要作业id和运行日期就足够了）。谢谢