Apache Beam DynamicDestinations Python等效程序
ApacheBeamJavaSDK有一个类,允许基于输入元素写入不同的大查询表。在pythonsdk中,我看不到任何类似的东西。是否有一些类允许在Python SDK中写入动态选择的目标表 Apache-Beam-Python-SDK在各种功能方面仍然不如Java-SDK先进,因此您可能会看到一些缺失的功能,这些功能仍然只在Java-SDK中可用 据我所知,根据我所能找到的,目前没有一个类可以指定动态BigQuery目的地,就像Java SDK提供的那样()Apache Beam DynamicDestinations Python等效程序,python,google-cloud-dataflow,apache-beam,Python,Google Cloud Dataflow,Apache Beam,ApacheBeamJavaSDK有一个类,允许基于输入元素写入不同的大查询表。在pythonsdk中,我看不到任何类似的东西。是否有一些类允许在Python SDK中写入动态选择的目标表 Apache-Beam-Python-SDK在各种功能方面仍然不如Java-SDK先进,因此您可能会看到一些缺失的功能,这些功能仍然只在Java-SDK中可用 据我所知,根据我所能找到的,目前没有一个类可以指定动态BigQuery目的地,就像Java SDK提供的那样() 我建议您将一个新的问题作为一个特征请
我建议您将一个新的问题作为一个特征请求来解释为什么这个特性将是Python SDK的一个很好的补充,并且希望开发者也会考虑这个选项。
< P>在2.2.0中添加了实验Python SDK,<代码>梁.IO .FILIO。my_pcollection | beam.io.fileio.WriteToFiles(
path='/my/file/path',
destination=lambda record: 'avro' if record['type'] == 'A' else 'csv',
sink=lambda dest: AvroSink() if dest == 'avro' else CsvSink(),
file_naming=beam.io.fileio.destination_prefix_naming())
它可以用于写入每个记录的不同文件
没有bigQueryLink
,您必须创建一个继承自beam.io.fileio.fileLink
的新类。此处有更多文档:
这里的JIRA问题: