Airflow 在启动新的任务集之前，请等待批处理中的所有任务完成

我用的是气流1.9.0。我们意识到，调度器有时会在启动一组新任务之前等待一个长时间运行的任务完成。发生这种情况时，除长作业外，所有任务都将失效

root      5111     1  0 17:58 ?        00:00:02 /usr/bin/python2 /bin/airflow scheduler -n 5 --pid /run/airflow/scheduler.pid
root      5489  5119  0 17:58 ?        00:00:11 /usr/bin/python2 /usr/bin/airflow run ....
root      5522  5489  0 17:59 ?        00:00:01 /usr/bin/python2 /usr/bin/airflow run ....
root      5118  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5119  5111  0 17:58 ?        00:00:00 /usr/bin/python2 /bin/airflow scheduler -n 5 --pid /run/airflow/scheduler.pid
root      5120  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5121  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5122  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5123  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5124  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5125  5111  0 17:58 ?        00:00:00 [airflow] <defunct>
root      5126  5111  0 17:58 ?        00:00:00 [airflow] <defunct>

root 511117:58？00:00:02/usr/bin/python2/bin/aiffair scheduler-n5--pid/run/aiffair/scheduler.pid
根5489 5119 0 17:58？00:00:11/usr/bin/python2/usr/bin/气流运行。。。。
根5522 5489 0 17:59？00:00:01/usr/bin/python2/usr/bin/气流运行。。。。
根5118 5111 0 17:58？00:00:00[气流]
根5119 5111 0 17:58？00:00:00/usr/bin/python2/bin/aiffair scheduler-n5--pid/run/aiffair/scheduler.pid
根5120511117:58？00:00:00[气流]
根5121 5111 0 17:58？00:00:00[气流]
根5122 5111 0 17:58？00:00:00[气流]
根5123511117:58？00:00:00[气流]
根51245111017:58？00:00:00[气流]
根51255111017:58？00:00:00[气流]
根5126 5111 0 17:58？00:00:00[气流]

知道我们做错了什么吗

---

谢谢，

从

/bin/aiffair scheduler-n 5

中删除

-n 5

。

-n

是传统的气流功能。LocalExecutor在进程中运行，因此出现这种行为。使用Airflow 1.8.1+，不要使用“-n 5”，您将不会遇到LocalExecutor的问题

---

有关它的更多信息：

参考

。所有气流调度器都已失效。

；您的意思是说所有气流任务都已失效吗？因为运行多个

调度程序

当然是正确的！我是说所有的任务。。。