Google cloud platform 大查询表分区计数限制

Google cloud platform 大查询表分区计数限制,google-cloud-platform,google-bigquery,Google Cloud Platform,Google Bigquery,我目前正在处理Big Query,并且了解到分区限制最多为4000个分区 是否有人知道此限制仅适用于活动存储层,还是同时适用于活动和长期存储层 问这个问题的原因是因为我有一个分区表,按小时分区,并且已经使用了6个多月,但在插入新数据时,我们没有收到任何错误提示分区限制超过4000 我已经计算了下面附在分区上的图像的数量: 正如我们所看到的,总分区数为6401,我们仍然能够插入新数据 同时,我们还创建了一个新的分区表,并尝试将数据移动到这个新创建的分区表中,但我们遇到了一些错误,称我们已超过40

我目前正在处理Big Query,并且了解到分区限制最多为4000个分区

是否有人知道此限制仅适用于活动存储层,还是同时适用于活动和长期存储层

问这个问题的原因是因为我有一个分区表,按小时分区,并且已经使用了6个多月,但在插入新数据时,我们没有收到任何错误提示分区限制超过4000

我已经计算了下面附在分区上的图像的数量:

正如我们所看到的,总分区数为6401,我们仍然能够插入新数据

同时,我们还创建了一个新的分区表,并尝试将数据移动到这个新创建的分区表中,但我们遇到了一些错误,称我们已超过4000的限制

此外,我还尝试以增量方式插入数据,但仍然得到如下错误:

重现错误的步骤:

  • 创建分区表(按小时分区)
  • 开始按月从另一个表中移动数据
  • 我的发现:

    上述分区限制仅适用于活动存储层


    有人能帮我确认一下吗?

    据我所知,您不能在一个作业中修改超过4000个分区。您首先描述的作业应该可以正常工作,因为它们只修改了几个分区。 当您尝试一次性移动4000多个分区时,您将达到您描述的限制


    我注意到我在活动存储和长期存储方面都遇到了这个限制。这是BigQuery范围内的一个限制。

    如前所述,我按月移动数据,假设每月有31天,按小时移动分区,然后是31天*24小时=744个分区,这意味着我一次插入的分区不超过4000个。