Google cloud platform 复合转换中缺少数据流显示数据
我正在尝试Dataflow中的新功能,以使更多细节显示在Google Cloud Dataflow UI中。但是,自定义Google cloud platform 复合转换中缺少数据流显示数据,google-cloud-platform,google-cloud-dataflow,apache-beam,Google Cloud Platform,Google Cloud Dataflow,Apache Beam,我正在尝试Dataflow中的新功能,以使更多细节显示在Google Cloud Dataflow UI中。但是,自定义PTransform的显示数据不会显示。在我的数据流管道中,我有一个类似以下的转换: 管道p=/。。 p、 应用(新的PTransform(){ @凌驾 公共PCollection应用(PCollection输入){ 返回输入 .应用(/*..*/) .应用(/*..*/) 。应用(/*..*/); } @凌驾 public void填充显示数据(DisplayData.Bui
PTransform
的显示数据不会显示。在我的数据流管道中,我有一个类似以下的转换:
管道p=/。。
p、 应用(新的PTransform(){
@凌驾
公共PCollection应用(PCollection输入){
返回输入
.应用(/*..*/)
.应用(/*..*/)
。应用(/*..*/);
}
@凌驾
public void填充显示数据(DisplayData.Builder){
builder.add(DisplayData.item(“foo”、“bar”));
}
});
当我运行数据流作业时,UI似乎不显示
foo=bar
显示数据。上不支持显示数据。相反,可以将显示数据附加到变换执行的任何用户定义函数。例如,如果上述组合中的一个内部变换使用了ParDo
,则可以将显示数据方法重新编写为:
管道p=/。。
p、 应用(新的PTransform(){
@凌驾
公共PCollection应用(PCollection输入){
返回输入
.应用(/*..*/)
.应用(/*..*/)
.适用(新DoFn()的第{
@凌驾
public void processElement(ProcessContext c){/*..*/}
@凌驾
public void填充显示数据(DisplayData.Builder){
builder.add(DisplayData.item(“foo”、“bar”));
}
}));
}
});
需要将显示数据功能扩展到Beam和Dataflow SDK中的复合转换