Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/332.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 数据流未显示流式管道的输出收集计数?_Python_Google Cloud Dataflow_Apache Beam - Fatal编程技术网

Python 数据流未显示流式管道的输出收集计数?

Python 数据流未显示流式管道的输出收集计数?,python,google-cloud-dataflow,apache-beam,Python,Google Cloud Dataflow,Apache Beam,我有一个从Pubsub读取的流媒体管道。我正在使用ApacheBeam python sdk 2.10 我的管道包含不同的阶段。 当我们使用ReadFromPubsub从pubsub读取数据时,我能够在第一阶段看到输入和输出收集计数。但在第二阶段中,仅显示输入收集计数,输出收集计数为空 在我的最后阶段,我写信给BigQuery。 有些功能不完全受支持,有些监控指标就是这样。随着支持的改善,这些将逐渐增加 计数器不可用,但您可以使用度量计数器添加自己的计数器,如下所示: from apach

我有一个从Pubsub读取的流媒体管道。我正在使用ApacheBeam python sdk 2.10

我的管道包含不同的阶段。 当我们使用ReadFromPubsub从pubsub读取数据时,我能够在第一阶段看到输入和输出收集计数。但在第二阶段中,仅显示输入收集计数,输出收集计数为空

在我的最后阶段,我写信给BigQuery。

有些功能不完全受支持,有些监控指标就是这样。随着支持的改善,这些将逐渐增加

计数器不可用,但您可以使用度量计数器添加自己的计数器,如下所示:

from apache_beam.metrics import Metrics

def debug(msg):
  Metrics.counter('elementCounts', 'filePaths').inc()
  # The rest of your code....

这有帮助吗?

我尝试了这个解决方案,但似乎没有帮助。计数仍不显示在该步骤输出集合中。我希望计数显示在数据流仪表板中。此解决方案是否会在dataflow仪表板UI上显示计数?