Google cloud platform BigQuery中显示配置单元分区的替代方法

Google cloud platform BigQuery中显示配置单元分区的替代方法,google-cloud-platform,google-bigquery,Google Cloud Platform,Google Bigquery,我有一个要求,在BigQueryHourly分区中有一个分区表,我必须编写一个批处理作业,一次处理一个分区 在hive中,这很容易做到,就像我可以在主表和一个元数据表中显示分区一样,我可以在其中维护已处理的分区,然后使用except在两个数据集之间创建差异,以标识要处理的剩余分区 在BigQuery中,我可以做一些类似于在主表上显示分区和维护元数据表的事情,在这里我可以维护已处理的分区 我在主桌上找到了类似的东西 选择不同格式的日期时间“%Y-%m-%d%H:%m:%S”,从数据集的分区时间中提

我有一个要求,在BigQueryHourly分区中有一个分区表,我必须编写一个批处理作业,一次处理一个分区

在hive中,这很容易做到,就像我可以在主表和一个元数据表中显示分区一样,我可以在其中维护已处理的分区,然后使用except在两个数据集之间创建差异,以标识要处理的剩余分区

在BigQuery中,我可以做一些类似于在主表上显示分区和维护元数据表的事情,在这里我可以维护已处理的分区

我在主桌上找到了类似的东西

选择不同格式的日期时间“%Y-%m-%d%H:%m:%S”,从数据集的分区时间中提取日期时间。表名称


但这将扫描整个表和成本开销。

使用传统sql,您可以运行以下操作:

#legacySQL
SELECT 
partition_id
FROM [project_id:dataset.table$__PARTITIONS_SUMMARY__]

请参阅

上的其他文档。是否有其他方法获取分区信息?为了执行此操作,我们还需要使用QueryJobConfiguration。我们可以通过任何其他方式执行此查询并获得分区信息,就像在hive中一样。legacySQL将允许您不必更新QueryJobConfiguration bq query\'legacySQL SELECT partition_id FROM[bigquery public data:wikipedia.pageviews_2015$\uu PARTITIONS\u SUMMARY\uu]'基本上,我希望通过Java代码执行此操作。因此,检查除了QueryJobConfiguration之外是否还有其他方法。