Google bigquery BigQuery最大分区数达到2000而不是2500

Google bigquery BigQuery最大分区数达到2000而不是2500,google-bigquery,Google Bigquery,根据,分区表可以有2500个分区: 每个分区表的最大分区数-2500 然而: 查询字符串中出错:处理作业“灰色排序挑战:bqjob_r37b076ef0d3c4338_000001626c539e6a_1”时出错:查询生成的分区太多,允许2000个,查询至少生成2372个分区 是2000还是2500?表中支持的最大分区数是4000。 2000是我们允许单个操作(在本例中为查询作业)生成的分区数 配额和限制-分区表 每个分区表的最大分区数-4000 单个作业修改的最大分区数-2000 每个作业操

根据,分区表可以有2500个分区:

每个分区表的最大分区数-2500

然而:

查询字符串中出错:处理作业“灰色排序挑战:bqjob_r37b076ef0d3c4338_000001626c539e6a_1”时出错:查询生成的分区太多,允许2000个,查询至少生成2372个分区


是2000还是2500?

表中支持的最大分区数是4000。
2000是我们允许单个操作(在本例中为查询作业)生成的分区数

配额和限制-分区表

  • 每个分区表的最大分区数-4000

  • 单个作业修改的最大分区数-2000

    每个作业操作(查询或加载)最多可影响2000个分区。任何影响超过2000个分区的查询或加载作业都会被Google BigQuery拒绝

  • 每个表每天最大分区修改数-5000 对于一个分区表,每天最多只能修改5000个分区。可以使用附加或覆盖分区中数据的操作来修改分区。修改分区的操作包括:加载作业、将结果写入分区的查询或修改分区中数据的DML语句(INSERT、DELETE、UPDATE或MERGE)

    单个作业可能会影响多个分区。例如,DML语句可以更新多个分区中的数据(对于摄取时间和分区表)。查询作业和加载作业也可以写入多个分区,但仅限于分区表。GoogleBigQuery在确定作业消耗的配额时使用受作业影响的分区数。流式插入不影响此配额

  • 分区操作的最大速率-每10秒50个分区操作


我提交了文件以跟踪问题。请参阅以下问题,了解如何通过按周/月/年划分来绕过此限制:但这太严格了。假设我有一个包含10年数据的标准表,我想对它进行分区!有了这些限制,我不得不将其分为两个5年的表格。是否有任何解决方法不涉及对原始表格进行切片和切割?单个表格上的2500个限制是我们正在积极寻求全面增加的。目前,我们正在根据需要进行这项工作,如果您能向我们提供项目编号,我们很乐意为您的项目进行这项工作。今天,这项工作已增加到4000。请参阅以下问题,了解如何通过按周/月/年划分来绕过此限制:
$ bq query --destination_table grey-sort-challenge:partitioning_magic.nyc_taxi_trips_partitioned --time_partitioning_field pickup_datetime --use_legacy_sql=false "select * from \`grey-sort-challenge.partitioning_magic.nyc_taxi_trips\`"