Airflow 气流:为什么DAG任务运行过时的DAG代码?

Airflow 气流:为什么DAG任务运行过时的DAG代码?,airflow,google-cloud-composer,Airflow,Google Cloud Composer,我正在通过GCP上的Cloud Composer(1.11.1)运行气流(1.10.9)。 每当我更新DAG的代码时,我都可以看到更新后的代码在Airflow GUI中刷新,但至少有10分钟,DAG的任务仍然运行旧代码 有几个问题: 为什么会出现这种延迟,并且可以减少这种延迟 我如何知道任务的代码何时被更新以确保没有人运行旧代码 您是否删除了以前的dag代码,或者桶中是否有包含/dag层的旧版本代码?(类似于/dag/dag或/dag/jar或/dag/…)。我见过其他类似的场景,在运行新的DA

我正在通过GCP上的Cloud Composer(1.11.1)运行气流(1.10.9)。 每当我更新DAG的代码时,我都可以看到更新后的代码在Airflow GUI中刷新,但至少有10分钟,DAG的任务仍然运行旧代码

有几个问题:

  • 为什么会出现这种延迟,并且可以减少这种延迟
  • 我如何知道任务的代码何时被更新以确保没有人运行旧代码

  • 您是否删除了以前的dag代码,或者桶中是否有包含/dag层的旧版本代码?(类似于/dag/dag或/dag/jar或/dag/…)。我见过其他类似的场景,在运行新的DAGs代码时,这种结构似乎会导致问题,因为我认为默认行为是求助于目录[1]。如果是这种情况,我建议使用.airflowignore文件,如果您希望将文件保留在
    dags/
    目录中,而不存在意外加载的风险。[1]-