Google cloud dataflow 确定pcollection是否为空

Google cloud dataflow 确定pcollection是否为空,google-cloud-dataflow,apache-beam,Google Cloud Dataflow,Apache Beam,在apache beam(2.1.0)中写入文本文件之前,如何检查pcollection是否为空 我在这里要做的是将一个文件分解成指定数量的pcollections,这些pcollections通过ValueProvider作为参数提供给管道。由于此ValueProvider在管道构建时不可用,因此我声明了一个合适的no 26(字母表的总数,这是用户可以输入的最大no),以使其可用于。WithOutTags()。所以我得到了26个元组标记,在写入文本文件之前,我必须从中检索pcollection

在apache beam(2.1.0)中写入文本文件之前,如何检查pcollection是否为空


我在这里要做的是将一个文件分解成指定数量的pcollections,这些pcollections通过ValueProvider作为参数提供给管道。由于此ValueProvider在管道构建时不可用,因此我声明了一个合适的no 26(字母表的总数,这是用户可以输入的最大no),以使其可用于
。WithOutTags()
。所以我得到了26个元组标记,在写入文本文件之前,我必须从中检索pcollections。所以在这里,只有少数用户输入的标签会被填充,其余的都是空的。因此,在我应用
TextIO.write()

之前,我希望忽略一些标记返回的空PCollection。实际上,您似乎希望将一个集合写入多组文件,其中一些集合可能是空的。正确的方法是使用
DynamicDestinations
API-查看Beam 2.2.0中提供的API,该API应在未来几周内进行切割。同时,如果您想使用它,您可以自己在头部创建梁的快照。

谢谢!如果只是几个星期的问题,我会等你。你能详细说明一下如何处理空突变问题吗。我有一个场景,在这个场景中,我根据验证将来自PubSub的记录放入BigTable或GCS中。由于两个输出中有一个为空,因此我被一个空指针击中。