Google bigquery 我们可以像在配置单元中一样在大查询中创建动态分区吗?

Google bigquery 我们可以像在配置单元中一样在大查询中创建动态分区吗?,google-bigquery,google-cloud-platform,google-cloud-storage,Google Bigquery,Google Cloud Platform,Google Cloud Storage,我希望存储在bucket中的所有数据(例如:/bucket/project/odate/odate_cust.txt)都加载到大查询中的表中,该表是日分区的?我需要逐个导入文件并加载,还是可以直接加载到多个分区中 **bq mk --time_partitioning_type=DAY market.cust custid:string,grp:integer,odate:string** 目前,您需要为每个加载指定分区(),以便将其放入相应的分区中。否则,BigQuery将使用加载作业的UT

我希望存储在bucket中的所有数据(例如:/bucket/project/odate/odate_cust.txt)都加载到大查询中的表中,该表是日分区的?我需要逐个导入文件并加载,还是可以直接加载到多个分区中

**bq mk --time_partitioning_type=DAY market.cust custid:string,grp:integer,odate:string**

目前,您需要为每个加载指定分区(),以便将其放入相应的分区中。否则,BigQuery将使用加载作业的UTC时间来选择分区。有一个即将推出的特性将允许按您自己的字段进行分区(我假设您的文件中有一个时间戳或日期字段,您可以按该字段进行分区)。然而,他们还没有推出(很快就要推出了)。您可以跟踪其进度

如果您很匆忙,那么有一些解决方法(例如,将所有内容加载到一个非分区表中,然后使用SQL或云数据流对其进行分区)。看一看


最后,如果您的文件名包含分区的日期,那么您可以很容易地编写脚本,查看文件名并运行多个加载作业,并将数据填充到表中相应的分区中

非常感谢您的回复。所以,这意味着在数据集中会有一个分区的特性,其中包含其他列。