Monitoring 任何监测气流的方式DAG'；什么时候执行？

我希望使用Statsd和DataDog的气流来监控DAG是否需要比以前执行时间多一倍的时间。因此，我需要一种DAG的实时计时器（或

操作符

）

我知道气流可以支撑。 然而，据我所知，所有指标都与完成的任务/DAG相关，对吗？所以，这不是解决方案，因为我想监控DAG的运行

我也考虑了/特性，但它们不适合这个用例

我希望有人通知我一些狗被吊死了，但我不想杀了它

---

有许多不同的方法可以处理此问题：

• 在过去，我配置了一个遥测DAG，它通过查询元数据表来收集所有任务/DAG的当前状态。我会收集这些指标并将其推送到CloudWatch。由于这些内部字段经常更改，因此在尝试升级到新版本的Airflow时会遇到问题
• 也有一些公司坚持认为，有些公司是开源的。通过设置这些选项，您可以根据需要频繁轮询公开的导出路径（DataDog）

---

这些只是你的一些选择。由于Airflow Web服务器只是一个Flask应用程序，您可以以任何合适的方式公开度量。

据我所知，您可以使用DataDog监控DAG中正在运行的任务，请参阅与Airflow的集成

您可以通过DogStatD引用指标。此外，看看这将有助于了解要监视的内容

例如，指标如下：

• 气流。操作员故障

  ：监控故障操作员

• 气流。操作员成功

  ：监控操作员成功

• afflow.dag\u processing.processes

  ：当前正在运行的dag解析（进程）数

• airflow.scheduler.tasks.running

  ：在executor中运行的任务数 显示为任务