Google cloud platform 气流子DAG失败或卡在运行状态

我将Composer映像从

Composer-1.7.2-airflow-1.10.2

升级到

Composer-1.12.0-airflow-1.10.10

。 在升级之前，我们注意到一些子DAG即使在内部任务成功完成时也失败了。 在迁移到Airflow

1.10.10

之后，我们注意到该错误显著增加。 现在这个错误继续得更频繁了。此外，如果子DAG的内部任务以成功结束，则某些子DAG或任务会无限期地停止运行，并出现running status事件

有人有类似的问题吗

信息：

Worker nodes
    Node count: 8
    Disk size (GB): 64
    Machine type: n1-standard-4

Cloud SQL configuration
    Machine type: db-n1-standard-2 (2 vCPU, 7.5 GB memory)

executor = CeleryExecutor

Airflow overrides
celery
    worker_concurrency: 30
core
    max_active_runs_per_dag: 1
    non_pooled_task_slot_count: 192
    dag_concurrency: 30
    dags_are_paused_at_creation: True
    parallelism: 192
scheduler
    dag_dir_list_interval: 600
    catchup_by_default: False
    max_threads: 6

---

问题似乎不是由更新引起的，而且这已经是您以前观察到的行为。对于相同的DAG及其相应的子DAG，这种行为是否总是发生？还是间歇性的？同时，观察到的行为可能是由多种因素造成的；在这种情况下，请共享受影响的DAG和子DAG的代码，以便能够检查它们。请屏蔽或删除任何敏感和私人数据，如密码、钥匙和信用卡号。