Google bigquery 可以在bigquery表上创建的最大分区数

Google bigquery 可以在bigquery表上创建的最大分区数,google-bigquery,Google Bigquery,在将数据从未分区表移动到分区表时,我遇到以下错误 查询执行期间超出了资源:表mydataset。作业完成时,mytable$20101213将有2501个分区,超过限制2500..'}] -->bigquery是否限制可以在表上创建的最大分区数?或者这只是一天的配额 此外,在BigQuery的“配额和限制”页面中没有提到这一限制文档中提到了这一限制。目前,每个表的分区不能超过4000个。您需要将数据/分区拆分到多个表中(每个表大约包含7年的数据) 每个分区表最多可以有4000个分区 文件中提到了

在将数据从未分区表移动到分区表时,我遇到以下错误

查询执行期间超出了资源:表mydataset。作业完成时,mytable$20101213将有2501个分区,超过限制2500..'}]

-->bigquery是否限制可以在表上创建的最大分区数?或者这只是一天的配额


此外,在BigQuery的“配额和限制”页面中没有提到这一限制

文档中提到了这一限制。目前,每个表的分区不能超过4000个。您需要将数据/分区拆分到多个表中(每个表大约包含7年的数据)

每个分区表最多可以有4000个分区


文件中提到了这一点。目前,每个表的分区不能超过4000个。您需要将数据/分区拆分到多个表中(每个表大约包含7年的数据)

每个分区表最多可以有4000个分区


一旦数据被拆分到多个表中,您就可以编写一个视图将两个表合并在一起。每当使用where子句中的partitioned字段查询视图时,BigQuery只处理相关的分区


这将产生一个具有4000多个分区的视图,业务用户可以查询该视图,而无需担心需要使用哪个版本的表或合并表本身。

一旦您的数据被拆分到多个表中,您就可以编写一个视图来合并这两个表。每当使用where子句中的partitioned字段查询视图时,BigQuery只处理相关的分区


这就产生了一个拥有4000多个分区的视图,业务用户可以查询这些分区,而不必担心需要使用哪个版本的表,也不必担心需要合并这些表本身。

拥有这么多分区对我来说似乎有一股恶臭。您能与我们共享查询/数据吗?我正在使用bigquery作业将数据从2010年移动到2017年。所以,基本上,我正在尝试将7年的数据移动到目标表中,该表按每天分区,大约为2555(365*7)个分区。您是否包括查询和一些数据?也许有一种解决方法不会使大查询崩溃。请看下面的问题,了解如何通过按周/月/年分区来绕过此限制:拥有这么多分区对我来说似乎有一股臭味。您能与我们共享查询/数据吗?我正在使用bigquery作业将数据从2010年移动到2017年。所以,基本上,我正在尝试将7年的数据移动到目标表中,该表按每天分区,大约为2555(365*7)个分区。您是否包括查询和一些数据?也许有一种解决方法不会使大查询崩溃。请参阅以下问题,了解如何通过按周/月/年分区来绕过此限制:当超出该界限时会发生什么?BigQuery将返回错误,并且不会在表中插入更多数据@JOHNANDREWSW当您超出该界限时会发生什么?BigQuery将返回一个错误,并且不会在表中插入更多数据@约翰南德鲁斯