Google cloud platform Logsink到bigquery分区不工作
我在文件夹级别创建了一个logsink,因此它将所有日志整齐地流式传输到Bigquery。在logsink配置中,我指定了以下选项,让logsink流到(每日)分区:Google cloud platform Logsink到bigquery分区不工作,google-cloud-platform,google-bigquery,partitioning,Google Cloud Platform,Google Bigquery,Partitioning,我在文件夹级别创建了一个logsink,因此它将所有日志整齐地流式传输到Bigquery。在logsink配置中,我指定了以下选项,让logsink流到(每日)分区: "bigqueryOptions": { "usePartitionedTables": true, "usesTimestampColumnPartitioning": true # output only } 根据and,我假设这会自动创建分区,但事实并非如此。我验证了它没有使用以下查询创建分区: #LegacySQ
"bigqueryOptions": {
"usePartitionedTables": true,
"usesTimestampColumnPartitioning": true # output only
}
根据and,我假设这会自动创建分区,但事实并非如此。我验证了它没有使用以下查询创建分区:
#LegacySQL
SELECT table_id, partition_id from [dataset1.table1$__PARTITIONS_SUMMARY__];
给我:
[
{
"table_id": "table1",
"partition_id": "__UNPARTITIONED__"
}
]
这里有我遗漏的东西吗?它应该按日期进行分区。问题是我没有等待足够长的时间,第一个分区才变为活动分区。基本上,logsink将数据流化为未分区数据。一段时间后,数据将按日期进行分区,对于今天的分区,只有几小时后才能看到日期。问题解决了
[
{
"table_id": "table1",
"partition_id": "__UNPARTITIONED__"
},
{
"table_id": "table1",
"partition_id": "20200510"
},
{
"table_id": "table1",
"partition_id": "20200511"
}
]