Airflow DAG在第一个任务处于排队(灰色)状态时运行受阻

Airflow DAG在第一个任务处于排队(灰色)状态时运行受阻,airflow,airflow-scheduler,airflow-worker,Airflow,Airflow Scheduler,Airflow Worker,我曾尝试在stackoverflow上查看类似的问题答案,但我的情况略有不同 我正在通过Airflow CLI执行回填作业,而回填的dag运行陷入运行状态,dag中的第一个任务处于排队(灰色)状态 调度程序似乎从未启动第一个任务 我没有将dependens\u on\u pass=True设置为dag\u默认值 dag_defaults = { "start_date": datetime.today() - timedelta(days=2), "

我曾尝试在stackoverflow上查看类似的问题答案,但我的情况略有不同

我正在通过Airflow CLI执行回填作业,而回填的dag运行陷入运行状态,dag中的第一个任务处于排队(灰色)状态

调度程序似乎从未启动第一个任务

我没有将
dependens\u on\u pass=True
设置为dag\u默认值

dag_defaults = {
    "start_date": datetime.today() - timedelta(days=2),
    "on_failure_callback": on_failure_callback,
    "provide_context": True
}
我被迫手动运行每个任务:(而不仅仅是让调度程序按自己的方式自动运行它们

注意:我正在通过K8S群集上的Airflow worker Pod执行回填cli命令

是否有其他人在使用回填cli命令时遇到过类似问题

更新: 我意识到我的回填运行超出了总dag间隔。即,在dag
开始日期之前,导致阻塞计划依赖性

虽然您仍然可以创建运行,但它不会自动运行,但您可以手动运行每个任务

作为一种解决方法,需要将
开始日期
更改为我最早的回填日期之前或当天

如果有一种方法可以覆盖回填cmd或提供一个--force选项来模拟特定dag_运行的开始日期,而不是绑定到总间隔,那就太好了

更新:我意识到我的回填运行超出了总dag 间隔。即在dag开始日期之前,导致阻塞计划 依赖性

虽然您仍然可以创建运行,但它不会自动运行,但您可以手动运行每个任务

作为一种解决方法,需要将
开始日期
更改为我最早的回填日期之前或当天


如果有一种方法可以覆盖回填cmd,或者提供一个--force选项,可以模拟特定dag运行的开始日期,而不是绑定到总间隔,那就太好了。

您可以单击任务,点击任务实例详细信息并检查
依赖项
原因
部分吗正确的direction@NadimYounes,感谢您帮助验证了我的问题。我正在运行的回填作业超出了dag开始日期(间隔),似乎只有在间隔内,回填才会自动安排,但如果在间隔外,则允许您手动运行。气流文档:
回填命令将在开始日期和结束日期内重新运行所有间隔的所有dag_id实例。
很高兴它有所帮助,祝您好运@rogan88谢谢,我已经更新了q问题。