Airflow 气流:子DAG在没有安排任务或生成日志的情况下失败

Airflow 气流:子DAG在没有安排任务或生成日志的情况下失败,airflow,Airflow,我管理的airflow实例(版本1.8)遇到了这样一种情况:我看到子任务失败,但失败任务的日志要么是***任务实例在DB中不存在,要么根本没有日志。这些任务每天运行,只是间歇性地失败。Subdag大部分时间都工作,但偶尔会失败,而且没有解释 当我阅读故障发生前后的日志时,我看到了两件事: 没有关于子DAG失败原因的日志解释 A.数据库显示任务有结束日期,但没有开始日期 子DAG中的任何任务都未计划 我已经翻阅了文档,从整个服务器中提取了日志,并升级了托管日志的服务器的大小(CPU、内存和磁盘)。

我管理的airflow实例(版本1.8)遇到了这样一种情况:我看到子任务失败,但失败任务的日志要么是
***任务实例在DB中不存在,要么根本没有日志。这些任务每天运行,只是间歇性地失败。Subdag大部分时间都工作,但偶尔会失败,而且没有解释

当我阅读故障发生前后的日志时,我看到了两件事:

  • 没有关于子DAG失败原因的日志解释
    A.数据库显示任务有
    结束日期
    ,但没有
    开始日期
  • 子DAG中的任何任务都未计划
  • 我已经翻阅了文档,从整个服务器中提取了日志,并升级了托管日志的服务器的大小(CPU、内存和磁盘)。我猜这与超时有关,但似乎无法找到问题的根源


    更多详细信息(一个实例):

    • 排队Dttm
      :3:38:04
    • 开始日期
      :空
    • 结束日期
      :03:38:25
    • 持续时间
      :空
    • 尝试编号
      :1(无需重试)

    可能理论-任务调度死锁时失败。目前,它失败的实例是有许多优先级相同的并行任务的实例。它并没有给出那个错误信息,但由于缺少其他选项,我正在尝试识别模式


    这似乎与这个问题有关。如果它们不一样,症状也一样