Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/337.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/grails/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache Beam DynamicDestinations Python等效程序_Python_Google Cloud Dataflow_Apache Beam - Fatal编程技术网

Apache Beam DynamicDestinations Python等效程序

Apache Beam DynamicDestinations Python等效程序,python,google-cloud-dataflow,apache-beam,Python,Google Cloud Dataflow,Apache Beam,ApacheBeamJavaSDK有一个类,允许基于输入元素写入不同的大查询表。在pythonsdk中,我看不到任何类似的东西。是否有一些类允许在Python SDK中写入动态选择的目标表 Apache-Beam-Python-SDK在各种功能方面仍然不如Java-SDK先进,因此您可能会看到一些缺失的功能,这些功能仍然只在Java-SDK中可用 据我所知,根据我所能找到的,目前没有一个类可以指定动态BigQuery目的地,就像Java SDK提供的那样() 我建议您将一个新的问题作为一个特征请

ApacheBeamJavaSDK有一个类,允许基于输入元素写入不同的大查询表。在pythonsdk中,我看不到任何类似的东西。是否有一些类允许在Python SDK中写入动态选择的目标表

Apache-Beam-Python-SDK在各种功能方面仍然不如Java-SDK先进,因此您可能会看到一些缺失的功能,这些功能仍然只在Java-SDK中可用

据我所知,根据我所能找到的,目前没有一个类可以指定动态BigQuery目的地,就像Java SDK提供的那样()


我建议您将一个新的问题作为一个特征请求来解释为什么这个特性将是Python SDK的一个很好的补充,并且希望开发者也会考虑这个选项。

< P>在2.2.0中添加了实验Python SDK,<代码>梁.IO .FILIO。
my_pcollection | beam.io.fileio.WriteToFiles(
      path='/my/file/path',
      destination=lambda record: 'avro' if record['type'] == 'A' else 'csv',
      sink=lambda dest: AvroSink() if dest == 'avro' else CsvSink(),
      file_naming=beam.io.fileio.destination_prefix_naming())
它可以用于写入每个记录的不同文件

没有
bigQueryLink
,您必须创建一个继承自
beam.io.fileio.fileLink
的新类。此处有更多文档:

这里的JIRA问题: