Google cloud platform 气流-Subdag卡在运行状态,其内部任务已成功结束

Google cloud platform 气流-Subdag卡在运行状态,其内部任务已成功结束,google-cloud-platform,airflow,airflow-scheduler,google-cloud-composer,airflow-worker,Google Cloud Platform,Airflow,Airflow Scheduler,Google Cloud Composer,Airflow Worker,我们正面临气流中一种非常奇怪的行为。 某些子DAG仍在运行(其内部任务已成功结束) 例如,我有一个subdag加载文件夹到图层,它应该在2020年11月18日开始和结束,但它一直坚持到20日 我查看了task\u实例和job表,可以看到任务的作业正在执行并接收心跳: 子DAG中的最后一条日志消息是: [2020-11-18 09:22:01,879] {taskinstance.py:664} INFO - Dependencies not met for <TaskInstance:

我们正面临气流中一种非常奇怪的行为。 某些子DAG仍在运行(其内部任务已成功结束)

例如,我有一个subdag加载文件夹到图层,它应该在2020年11月18日开始和结束,但它一直坚持到20日

我查看了
task\u实例
job
表,可以看到任务的作业正在执行并接收心跳:

子DAG中的最后一条日志消息是:

[2020-11-18 09:22:01,879] {taskinstance.py:664} INFO - Dependencies not met for <TaskInstance: bietlejuice.docx.load-folder-reference-to-clean 2020-11-17T03:00:00+00:00 [running]>, dependency 'Task Instance State' FAILED: Task is in the 'running' state which is not a valid state for execution. The task must be cleared in order to be run.
[2020-11-18 09:22:01879]{taskinstance.py:664}信息-不满足的依赖项,依赖项“任务实例状态”失败:任务处于“运行”状态,该状态不是执行的有效状态。必须清除该任务才能运行。
另外,我可以在第18天注意到一个节点掉落(图):

这使我认为调度程序在将此任务(subdag)重新分配给另一个工作进程并导致任务陷入困境时遇到了错误


有人对此有什么线索吗?

对于这一问题,我建议您选择或。我已经在中以及中搜索过,但没有找到类似的报告。最好是,如果您有任何支持包或计划,我会提供支持案例,因为排除故障可能需要您提供尽可能多的信息,并可能检查您的Composer环境。如果你没有,创建一个公共问题也是一个不错的选择。