Airflow DAG在第一个任务处于排队(灰色)状态时运行受阻
我曾尝试在stackoverflow上查看类似的问题答案,但我的情况略有不同 我正在通过Airflow CLI执行回填作业,而回填的dag运行陷入运行状态,dag中的第一个任务处于排队(灰色)状态 调度程序似乎从未启动第一个任务 我没有将Airflow DAG在第一个任务处于排队(灰色)状态时运行受阻,airflow,airflow-scheduler,airflow-worker,Airflow,Airflow Scheduler,Airflow Worker,我曾尝试在stackoverflow上查看类似的问题答案,但我的情况略有不同 我正在通过Airflow CLI执行回填作业,而回填的dag运行陷入运行状态,dag中的第一个任务处于排队(灰色)状态 调度程序似乎从未启动第一个任务 我没有将dependens\u on\u pass=True设置为dag\u默认值 dag_defaults = { "start_date": datetime.today() - timedelta(days=2), "
dependens\u on\u pass=True
设置为dag\u默认值
dag_defaults = {
"start_date": datetime.today() - timedelta(days=2),
"on_failure_callback": on_failure_callback,
"provide_context": True
}
我被迫手动运行每个任务:(而不仅仅是让调度程序按自己的方式自动运行它们
注意:我正在通过K8S群集上的Airflow worker Pod执行回填cli命令
是否有其他人在使用回填cli命令时遇到过类似问题
更新:
我意识到我的回填运行超出了总dag间隔。即,在dag开始日期之前,导致阻塞计划依赖性
虽然您仍然可以创建运行,但它不会自动运行,但您可以手动运行每个任务
作为一种解决方法,需要将开始日期
更改为我最早的回填日期之前或当天
如果有一种方法可以覆盖回填cmd或提供一个--force选项来模拟特定dag_运行的开始日期,而不是绑定到总间隔,那就太好了
更新:我意识到我的回填运行超出了总dag
间隔。即在dag开始日期之前,导致阻塞计划
依赖性
虽然您仍然可以创建运行,但它不会自动运行,但您可以手动运行每个任务
作为一种解决方法,需要将开始日期
更改为我最早的回填日期之前或当天
如果有一种方法可以覆盖回填cmd,或者提供一个--force选项,可以模拟特定dag运行的开始日期,而不是绑定到总间隔,那就太好了。您可以单击任务,点击任务实例详细信息并检查依赖项原因部分吗正确的direction@NadimYounes,感谢您帮助验证了我的问题。我正在运行的回填作业超出了dag开始日期(间隔),似乎只有在间隔内,回填才会自动安排,但如果在间隔外,则允许您手动运行。气流文档:回填命令将在开始日期和结束日期内重新运行所有间隔的所有dag_id实例。
很高兴它有所帮助,祝您好运@rogan88谢谢,我已经更新了q问题。