Airflow 气流通过statsd发送指标,但不是所有指标
最近我更新了我的airflow.cfg以启用metrics Think Statsd 我已将此设置注入airflow.cfg: 我正在注入此配置:Airflow 气流通过statsd发送指标,但不是所有指标,airflow,statsd,Airflow,Statsd,最近我更新了我的airflow.cfg以启用metrics Think Statsd 我已将此设置注入airflow.cfg: 我正在注入此配置: AIRFLOW__SCHEDULER__STATSD_ON=True AIRFLOW__SCHEDULER__STATSD_HOST=HOSTNAME AIRFLOW__SCHEDULER__STATSD_PORT=9125 AIRFLOW__SCHEDULER__STATSD_PREFIX=airflow 我没有使用标准的Statsd服务,但它使
AIRFLOW__SCHEDULER__STATSD_ON=True
AIRFLOW__SCHEDULER__STATSD_HOST=HOSTNAME
AIRFLOW__SCHEDULER__STATSD_PORT=9125
AIRFLOW__SCHEDULER__STATSD_PREFIX=airflow
我没有使用标准的Statsd服务,但它使用Statsd协议,所以据我所知,我可以直接向Stats exporter发送度量。默认情况下,它在9125端口上工作
在Statsd exporter收到指标后,普罗米修斯能够以常规方式刮取它们
一切都好,一切都好。此外,我将我的映射文件制作成Statsd exporter,在那里我使用了一些正则表达式,但是。。。。我的问题是,当我打开Statsd exported(9102端口)的WEB UI时,我看到了部分气流指标,但不是全部
文档说明了度量的列表
例如,我看到气流发送:ti_失败、ti_成功、dagbag_大小等,但完全没有诸如:dag…持续时间或executor.open_插槽和耦合其他指标
非常感谢所有玩过Statsd和Airflow的人,因为我不知道:(我最近检测了Airflow及其度量值,将从Statsd导出到普罗米修斯。 在我的架构中,Kubernetes吊舱中有气流运行,具体如下:
- 调度程序
- 工人
- 花
- 网
调度程序
、工人
和网络
有一个侧车容器来导出statsd度量(我们称之为度量吊舱
)
而您在官方文档()中看到的度量列表并非对所有度量吊舱都可用
为了解决您的特定问题,dag…duration
由worker节点导出