Airflow 普罗米修斯和格拉法纳的气流测量

任何人都知道如何将数据从airflow发送到普罗米修斯，我没有找到太多关于它的文档，我在Grafana上尝试了airflow operator metrics，但它没有显示任何数据，而且它没有显示任何数据点。

默认情况下，airflow不支持普罗米修斯的数据。我可以想出两种方法来获取普罗米修斯的指标

启用度量，然后使用将其导出到普罗米修斯

安装第三方/开源普罗米修斯出口商代理（例如）

如果你要进行第二次进近，那么气流舵图也提供了这一点

编辑

---

如果您使用的是statsd exporter，则它是Grafana仪表板和exporter配置的良好资源。

如果您安装了带有statsd支持的气流：

pip install 'apache-airflow[statsd]'

您可以在

aiffair.cfg

文件的调度程序部分公开aiffair statsd度量，如下所示：

[scheduler]
statsd_on = True
statsd_host = localhost
statsd_port = 8125
statsd_prefix = airflow

然后，您可以安装一个名为

statsd\u exporter

的工具，该工具可以捕获statsd格式的度量，并将其转换为普罗米修斯格式，使其在

/metrics

端点处可用，以便普罗米修斯进行刮取

DockerHub上有一个名为

天文学家/ap statsd exporter

的docker图像，它已经将气流statsd度量映射到普罗米修斯度量

参考资料：

---

您是否尝试过使用Roobonhood？听起来很有希望，但我还没有尝试。

嘿，谢谢你的回复，我尝试了第一种方法-启用statsd并安装了普罗米修斯导出器，但我没有看到任何气流统计数据发送到那里-我不是很确定，因为我从未在这条道路上工作过。嘿@holypriest，我试过了，但它似乎没有把统计数据发送给ap statsd Exporter，这很奇怪。你能确认这些集装箱在同一个网络中，并且相互通信吗？我在这里使用同样的方法，它就像一个魅力。试着调试它，在容器内执行bash并执行一些命令来测试服务的健康度等等。如果我在气流运行的地方安装statsd_exporter，映射是否会自动发生。不完全是这样，这取决于您的基础结构。Airflow在主机的端口8125上公开statsd度量，statsd_导出器应配置为监视该端口并在另一个端口上向prometheus公开数据，然后prometheus应配置为监视statsd_导出器端口。我在Kubernetes集群上使用了此设置，因此我确保为每个集群公开/查看正确的端口。您还应该检查所有服务是否都有响应。嗨，Priyal Patil，您找到解决方案了吗？我安装了statsd，它在普罗米修斯的9125端口和9102端口监听气流。但是端口9102/度量只有一些cpu/内存相关度量，没有流量度量。我在airflow Pod中运行了“pip安装'apache airflow[statsd]”是的，我运行了带有参数的airflow statsd exporter容器--statsd.listen udp=:9125--web.listen address=:9102“，下面是airflow cfg-statsd_port=9125