Airflow 气流任务在所有节点上运行

我用芹菜和redis制作了气流集群。我有一项任务要在所有员工身上运行。我该怎么做

原因：我们正在根据工人负荷增加和减少气流工人。我必须在所有节点上运行一个任务

---

谢谢您的帮助。

听起来好像您正在尝试监视气流群集中的工作节点，如果工作节点处于高负载状态，是否会增加工作节点/执行器？这就是你想做的吗

如果是这样，我认为这种工作应该由其他工具来管理，比如Jenkins+Ansible

---

如果没有，请忽略此问题或用更多信息更新您的问题。

我不想监视airflow worker，airflow允许我们监视节点。但是，我无法在所有节点中运行某些任务。例如，VPN连接可能会在一段时间后中断，我们希望运行重新连接到VPN的sh文件，但我希望在所有节点中执行此操作，而不是在一个随机节点中执行此操作。我不认为airflow设计用于解决您提到的此类任务。我想您知道任务是由worker节点中的一个执行者执行的，所以您要做的是将一个任务分发给每个worker的一个执行者，这不是气流的工作方式。试试Cron或Jenkins+Ansible可能更容易实现。如果这是正常的东西，我同意你的看法。但是我需要运行这个来支持气流。否则，我的任务就会失败。我目前正在使用cron。然而，我想知道是否有比基本的cron-job更好的解决方案，我实际上希望实现类似的东西。。你在@kptatel找到什么了吗？没有，我还在使用cron。你找到解决方案了吗？出于我们的目的，我们使用cron。它已经运行了3年，没有任何问题。但是我们的后台任务占用的空间要小得多。如果有固定数量的命名辅助对象，则可以创建一个气流任务来运行每个气流辅助对象。