Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/image-processing/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Airflow 气流通过statsd发送指标,但不是所有指标_Airflow_Statsd - Fatal编程技术网

Airflow 气流通过statsd发送指标,但不是所有指标

Airflow 气流通过statsd发送指标,但不是所有指标,airflow,statsd,Airflow,Statsd,最近我更新了我的airflow.cfg以启用metrics Think Statsd 我已将此设置注入airflow.cfg: 我正在注入此配置: AIRFLOW__SCHEDULER__STATSD_ON=True AIRFLOW__SCHEDULER__STATSD_HOST=HOSTNAME AIRFLOW__SCHEDULER__STATSD_PORT=9125 AIRFLOW__SCHEDULER__STATSD_PREFIX=airflow 我没有使用标准的Statsd服务,但它使

最近我更新了我的airflow.cfg以启用metrics Think Statsd

我已将此设置注入airflow.cfg:

我正在注入此配置:

AIRFLOW__SCHEDULER__STATSD_ON=True
AIRFLOW__SCHEDULER__STATSD_HOST=HOSTNAME
AIRFLOW__SCHEDULER__STATSD_PORT=9125
AIRFLOW__SCHEDULER__STATSD_PREFIX=airflow
我没有使用标准的Statsd服务,但它使用Statsd协议,所以据我所知,我可以直接向Stats exporter发送度量。默认情况下,它在9125端口上工作

在Statsd exporter收到指标后,普罗米修斯能够以常规方式刮取它们

一切都好,一切都好。此外,我将我的映射文件制作成Statsd exporter,在那里我使用了一些正则表达式,但是。。。。我的问题是,当我打开Statsd exported(9102端口)的WEB UI时,我看到了部分气流指标,但不是全部

文档说明了度量的列表

例如,我看到气流发送:ti_失败、ti_成功、dagbag_大小等,但完全没有诸如:dag…持续时间或executor.open_插槽和耦合其他指标


非常感谢所有玩过Statsd和Airflow的人,因为我不知道:(

我最近检测了Airflow及其度量值,将从Statsd导出到普罗米修斯。 在我的架构中,Kubernetes吊舱中有气流运行,具体如下:

  • 调度程序
  • 工人
只有
调度程序
工人
网络
有一个侧车容器来导出statsd度量(我们称之为
度量吊舱

而您在官方文档()中看到的度量列表并非对所有度量吊舱都可用

为了解决您的特定问题,
dag…duration
由worker节点导出