Fatal编程技术网
  • apache-beam/
  • Apache beam ProfileOptions profile\u cpu=True的数据流作业不写入配置文件

Apache beam ProfileOptions profile\u cpu=True的数据流作业不写入配置文件

Apache beam ProfileOptions profile\u cpu=True的数据流作业不写入配置文件,apache-beam,dataflow,Apache Beam,Dataflow,我试图分析在Apache Beam Python 3.7 SDK 2.27.0上运行的数据流管道作业的CPU使用情况。我用--profile\u cpu和profile\u位置设置的参数触发了作业，可以看到它们在数据流控制台中设置： 但是，作业完成后，没有任何文件写入到profile\u位置GSC存储桶 当使用jsonPayload.logger查看数据流日志时：“apache_beam.utils.profiler:profiler.py”我可以看到显示“开始分析”和“停止分析”的日志：

我试图分析在Apache Beam Python 3.7 SDK 2.27.0上运行的数据流管道作业的CPU使用情况。我用
--profile\u cpu
和
profile\u位置设置的参数触发了作业，可以看到它们在数据流控制台中设置：



但是，作业完成后，没有任何文件写入到
profile\u位置
GSC存储桶

当使用jsonPayload.logger查看数据流日志时：“apache_beam.utils.profiler:profiler.py”
我可以看到显示“开始分析”和“停止分析”的日志：

但是没有与“将探查器数据复制到：”步骤对应的日志，即使在
ProfilingOptions
中设置了
profile\u位置，因此应该在
探查器上设置。任何关于可能出现的问题的建议，或关于当前是否支持此功能的知识都将非常有用。
这是通过使用
--experiments=use\u runner\u v2
标志解决的。看起来这仅在Dataflow Runner v2上受支持，它尚未作为默认运行程序推出。
您可以尝试使用Dataflow Runner v2运行吗？是的，这很有效，谢谢！