Fatal编程技术网

Google cloud dataflow 用ParDo过滤还是用Transform过滤？

google-cloud-dataflow

Google cloud dataflow 用ParDo过滤还是用Transform过滤？,google-cloud-dataflow,Google Cloud Dataflow,我正在处理一个管道，它从BigQueryPCollection获取一个PCollection，并根据单元格值对其进行过滤 用ParDo之类的过滤器过滤是更好还是我应该使用 基本上，我希望能够根据personType进行筛选。例如： if(personType == 'customer') { then c.output(outputTableRow); } 有什么不同，我是如何处理这个错误的，我应该尝试什么来代替呢？它们几乎是一样的。所有的Filter转换都是使用ParDo和DoFn实现

我正在处理一个管道，它从BigQuery
PCollection
获取一个PCollection，并根据单元格值对其进行过滤

用ParDo之类的过滤器过滤是更好还是我应该使用

基本上，我希望能够根据personType进行筛选。例如：

if(personType == 'customer') {
  then c.output(outputTableRow);
 }
有什么不同，我是如何处理这个错误的，我应该尝试什么来代替呢？

它们几乎是一样的。所有的
Filter
转换都是使用
ParDo
和
DoFn
实现的，就像您提到的（请参阅）

Filter
转换是一种方便的过滤简写。如果它有效，它可能更简洁。唯一的主要区别是
过滤器
变换只能基于输入元素进行过滤。例如，如果要使用包含应传递元素列表的side输入，则需要使用
ParDo
。如果您只是在“此字段是否等于‘客户’”上进行筛选，则
筛选可能是正确的。
它们几乎相同。所有的
Filter
转换都是使用
ParDo
和
DoFn
实现的，就像您提到的（请参阅）


Filter
转换是一种方便的过滤简写。如果它有效，它可能更简洁。唯一的主要区别是
过滤器
变换只能基于输入元素进行过滤。例如，如果要使用包含应传递元素列表的side输入，则需要使用
ParDo
。如果您只是在“此字段是否等于‘客户’”上进行筛选，则
筛选可能很好。
感谢您的澄清，本！谢谢你的澄清，本！