Google cloud dataflow 为什么我的数据流管道没有显示步骤?

Google cloud dataflow 为什么我的数据流管道没有显示步骤?,google-cloud-dataflow,Google Cloud Dataflow,当我运行这些示例时,我得到了一幅显示流的漂亮图片,并且我可以监视它的执行。在我的应用程序中,它不会显示图表,如果我单击“步骤”,它不会显示任何内容 添加作业日志的屏幕截图。没有警告或错误。顺便说一句,我假设日志条目上带有“I”的图标代表信息级别,但是当我将级别从基本更改为所有时,会添加更多的条目,它们都具有相同的图标。这令人困惑。依我看,图标应该更清晰,应该有悬停提示 我是数据流团队的成员。很抱歉,您遇到了这个问题 我相信这是因为您的代码使用了自定义的步骤名称。 从作业日志的屏幕截图中可以看出,

当我运行这些示例时,我得到了一幅显示流的漂亮图片,并且我可以监视它的执行。在我的应用程序中,它不会显示图表,如果我单击“步骤”,它不会显示任何内容

添加作业日志的屏幕截图。没有警告或错误。顺便说一句,我假设日志条目上带有“I”的图标代表信息级别,但是当我将级别从基本更改为所有时,会添加更多的条目,它们都具有相同的图标。这令人困惑。依我看,图标应该更清晰,应该有悬停提示


我是数据流团队的成员。很抱歉,您遇到了这个问题

我相信这是因为您的代码使用了自定义的步骤名称。 从作业日志的屏幕截图中可以看出,其中一些步骤的名称代表了GCS存储路径位置。 我从日志中的这条消息中注意到:

正在执行操作“gs://datalake/landing/…”

由于斜杠是不允许的字符,因此无法在监视UI中呈现,并且可能会命中断言

为了解决此问题,请尝试删除代码中使用的自定义步骤名称。它似乎被设置为gs://样式路径。您还可以尝试为每个步骤指定名称,而不使用特殊字符。 更改后,请再次尝试运行作业,并查看图形是否在数据流UI中正确呈现

我创建了一个用于跟踪此错误并防止将来在dataflow SDK代码中发送这些斜杠字符的工具


如果您遇到任何其他问题,请告诉我。

您好,我是Dataflow团队的成员。对不起,您遇到麻烦了。您的管道是否产生输出?您是否验证了输出是否正在产生?您能为其中一个没有显示图表的作业共享作业id吗?@JeremyLewi是的,它会生成我的预期输出。这不是第一张截图中的工作ID吗?为方便起见,请复制到这里。作业名称UOTCPPIPELINE-nwh02-1214220911作业ID 2015-12-14_14_09_19-5727579938330135228我刚刚在中看到了这一点,为什么数据流监控界面不报告我的管道输出步骤的状态?这是数据流监控接口的一个已知问题,将在未来的版本中解决。作为一种解决方法,您可以在云平台输出位置的相关云平台控制台界面中查看实时输出,例如云存储容器资源管理器或BigQuery控制台。我不确定这是否适用于我的情况。有点模糊,谢谢。我们正在调查。很抱歉给您带来不便。就这样。我将转换命名为TextIO.Read.named(inputFile).from(inputFile)这样的文件名,因为没有明确命名它会给我以下警告:警告:transform TextIO.Read2没有稳定的唯一名称。这将阻止管道的更新。当我硬编码了一个没有斜杠的名字时,警告消失了,监控界面按预期工作。谢谢