Google bigquery 是否可以将窗口无界PCollection写入特定的BQ分区?

Google bigquery 是否可以将窗口无界PCollection写入特定的BQ分区?,google-bigquery,google-cloud-dataflow,Google Bigquery,Google Cloud Dataflow,如果流中有一个带窗口的PCollection,我想基于该窗口写入BQ表中的特定分区 当为BigQueryIO.Write.bind.to(SerializableFunction tableSpecFunction)指定tableSpecFunction时,我似乎只能为表引用字符串指定字母数字名称 在没有指定表装饰符的情况下,数据似乎被写入了分区ID\uuuu UNPARTITIONED\uuuu。AFAICT最终将解决这一问题 对于我的用例,我希望在正确的分区中可以立即访问数据。此外,如果能够

如果流中有一个带窗口的PCollection,我想基于该窗口写入BQ表中的特定分区

当为
BigQueryIO.Write.bind.to(SerializableFunction tableSpecFunction)
指定
tableSpecFunction
时,我似乎只能为表引用字符串指定字母数字名称

在没有指定表装饰符的情况下,数据似乎被写入了分区ID
\uuuu UNPARTITIONED\uuuu
。AFAICT最终将解决这一问题

对于我的用例,我希望在正确的分区中可以立即访问数据。此外,如果能够解释最新的数据并将其写入正确的分区,那也将非常好

因此,重申我的问题:


是否可以将带窗口的无界PCollection写入特定的BQ分区?

您应该能够直接使用分区名称。BigQueryAPI(流)支持通过使用表的分区装饰器写入表的给定分区。例如,要为表T写入2016-05-01的分区,您需要使用T$20160501


$
语法不适合您吗?

您应该能够直接使用分区名称。BigQueryAPI(流)支持通过使用表的分区装饰器写入表的给定分区。例如,要为表T写入2016-05-01的分区,您需要使用T$20160501


$
语法不适合您吗?

哎呀。我被抛出是因为在我的一次测试运行中,我在日志中看到了这样的情况:“表ID必须是字母数字(加下划线),并且长度不得超过1024个字符。此外,不能使用表decorators”。不过,似乎我没有正确清除测试数据集,所以我必须尝试在非分区表中寻址分区。我只是在一个干净的数据集上再试一次,结果成功了。PEBKACWhoops。我被抛出是因为在我的一次测试运行中,我在日志中看到了这样的情况:“表ID必须是字母数字(加下划线),并且长度不得超过1024个字符。此外,不能使用表decorators”。不过,似乎我没有正确清除测试数据集,所以我必须尝试在非分区表中寻址分区。我只是在一个干净的数据集上再试一次,结果成功了。PEBKAC