Airflow 气流:子DAG在没有安排任务或生成日志的情况下失败
我管理的airflow实例(版本1.8)遇到了这样一种情况:我看到子任务失败,但失败任务的日志要么是Airflow 气流:子DAG在没有安排任务或生成日志的情况下失败,airflow,Airflow,我管理的airflow实例(版本1.8)遇到了这样一种情况:我看到子任务失败,但失败任务的日志要么是***任务实例在DB中不存在,要么根本没有日志。这些任务每天运行,只是间歇性地失败。Subdag大部分时间都工作,但偶尔会失败,而且没有解释 当我阅读故障发生前后的日志时,我看到了两件事: 没有关于子DAG失败原因的日志解释 A.数据库显示任务有结束日期,但没有开始日期 子DAG中的任何任务都未计划 我已经翻阅了文档,从整个服务器中提取了日志,并升级了托管日志的服务器的大小(CPU、内存和磁盘)。
***任务实例在DB中不存在,要么根本没有日志。这些任务每天运行,只是间歇性地失败。Subdag大部分时间都工作,但偶尔会失败,而且没有解释
当我阅读故障发生前后的日志时,我看到了两件事:
没有关于子DAG失败原因的日志解释
A.数据库显示任务有结束日期
,但没有开始日期
子DAG中的任何任务都未计划
我已经翻阅了文档,从整个服务器中提取了日志,并升级了托管日志的服务器的大小(CPU、内存和磁盘)。我猜这与超时有关,但似乎无法找到问题的根源
更多详细信息(一个实例):
排队Dttm
:3:38:04
开始日期
:空
结束日期
:03:38:25
持续时间
:空
尝试编号
:1(无需重试)
可能理论-任务调度死锁时失败。目前,它失败的实例是有许多优先级相同的并行任务的实例。它并没有给出那个错误信息,但由于缺少其他选项,我正在尝试识别模式
这似乎与这个问题有关。如果它们不一样,症状也一样