Airflow 回填时忽略资源池标志

Airflow 回填时忽略资源池标志,airflow,Airflow,命令: python dag.py backfill -i -t task1 --pool backfill -s "2016-05-29 03:00:00" -e "2016-06-07 00:00:00" 所有任务都将进入队列并开始运行。最大容量基本上被忽略。据我所知,在1.7.1.3(最新稳定版本)中,池超额订阅应该是一个已知的问题。此外,Airflow backfill作业运行程序不遵守池约束-只有调度程序遵守,而调度程序不计划/处理回填。我认为这些应该在下一个版本中进行更改,但不确定

命令:

python dag.py backfill -i -t task1 --pool backfill -s "2016-05-29 03:00:00" -e "2016-06-07 00:00:00"

所有任务都将进入队列并开始运行。最大容量基本上被忽略。

据我所知,在1.7.1.3(最新稳定版本)中,池超额订阅应该是一个已知的问题。此外,Airflow backfill作业运行程序不遵守池约束-只有调度程序遵守,而调度程序不计划/处理回填。我认为这些应该在下一个版本中进行更改,但不确定。

根据我的经验,在当前版本中,
1.7.1.3
回填几乎总是一个坏主意。调度程序最终可能会与回填作业发生冲突,回填的DAG可能会进入奇数状态,并且通常会将东西留在一个冒烟的废墟中

总的来说,通过确保我的工作能够很好地分配给所有员工,并在合理的时间内完成,以及信任调度程序和任务开始日期来完成任务,我已经获得了更多的成功


上述情况确实会导致一些非常可怕的DAG运行次数超额订阅。。。当调度器超过配置限制时,它往往会阻塞。解决方案:临时取消DAG运行的配置限制。调度器和执行器将很好地协同工作,以确保您不会同时运行过多的作业。

那么回填命令上的--pool标志只是为了好玩?我认为这是一种奇怪的发展方式。这不是我完全确定的。我想他们已经有了解决这个问题的计划(或者可能已经在master中解决了)。在他们的问题追踪器中。如果您有任何帮助,请在此处添加信息。