Python 数据流未显示流式管道的输出收集计数?
我有一个从Pubsub读取的流媒体管道。我正在使用ApacheBeam python sdk 2.10 我的管道包含不同的阶段。 当我们使用ReadFromPubsub从pubsub读取数据时,我能够在第一阶段看到输入和输出收集计数。但在第二阶段中,仅显示输入收集计数,输出收集计数为空 在我的最后阶段,我写信给BigQuery。 有些功能不完全受支持,有些监控指标就是这样。随着支持的改善,这些将逐渐增加 计数器不可用,但您可以使用度量计数器添加自己的计数器,如下所示:Python 数据流未显示流式管道的输出收集计数?,python,google-cloud-dataflow,apache-beam,Python,Google Cloud Dataflow,Apache Beam,我有一个从Pubsub读取的流媒体管道。我正在使用ApacheBeam python sdk 2.10 我的管道包含不同的阶段。 当我们使用ReadFromPubsub从pubsub读取数据时,我能够在第一阶段看到输入和输出收集计数。但在第二阶段中,仅显示输入收集计数,输出收集计数为空 在我的最后阶段,我写信给BigQuery。 有些功能不完全受支持,有些监控指标就是这样。随着支持的改善,这些将逐渐增加 计数器不可用,但您可以使用度量计数器添加自己的计数器,如下所示: from apach
from apache_beam.metrics import Metrics
def debug(msg):
Metrics.counter('elementCounts', 'filePaths').inc()
# The rest of your code....
这有帮助吗?我尝试了这个解决方案,但似乎没有帮助。计数仍不显示在该步骤输出集合中。我希望计数显示在数据流仪表板中。此解决方案是否会在dataflow仪表板UI上显示计数?