Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/linux/23.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Airflow 为BerneteSpodOperator任务设置超时_Airflow_Google Kubernetes Engine_Kubernetes Pod_Google Cloud Composer_Airflow Operator - Fatal编程技术网

Airflow 为BerneteSpodOperator任务设置超时

Airflow 为BerneteSpodOperator任务设置超时,airflow,google-kubernetes-engine,kubernetes-pod,google-cloud-composer,airflow-operator,Airflow,Google Kubernetes Engine,Kubernetes Pod,Google Cloud Composer,Airflow Operator,我需要一种方法来终止正在运行的KubernetesPodOperator任务。超时后,我的DAG计划每15分钟运行一次 我试图将dagrun\u timeout和max\u active\u runs添加到DAG参数中 我希望这样可以停止DAG,杀死正在运行的任务,并将它们标记为失败 但实际发生的情况是,DAG被标记为失败,任务将继续运行,并且由于DAG计划每15分钟运行一次,因此即使上一次DAG运行的任务仍在运行,DAG仍将被触发并继续运行 有没有办法解决这个问题?我认为您使用的配置是在DAG

我需要一种方法来终止正在运行的
KubernetesPodOperator
任务。超时后,我的
DAG
计划每15分钟运行一次

我试图将
dagrun\u timeout
max\u active\u runs
添加到DAG参数中

我希望这样可以停止DAG,杀死正在运行的任务,并将它们标记为失败

但实际发生的情况是,DAG被标记为失败,任务将继续运行,并且由于DAG计划每15分钟运行一次,因此即使上一次DAG运行的任务仍在运行,DAG仍将被触发并继续运行


有没有办法解决这个问题?

我认为您使用的配置是在DAG级别超时并将DAG标记为失败。我建议使用任务级超时

execution_timeout(datetime.timedelta)–执行此任务实例所允许的最大时间,如果超过此时间,将引发并失败


让我知道这是有帮助的

正如我们在评论部分所讨论的,为了进一步帮助社区,我将讨论总结为一个答案

根据文档,参数dagrun\u timeout指定在超时/失败之前,dagrun应该运行多长时间,以便创建新的dagrun。此外,仅对计划的DAG运行强制超时,并且仅当活动DAG运行数==max\u active\u运行数时才强制超时


根据今天的情况,Airflow 1.10.2存在一个持续的问题,报告的问题描述是:与此相关,当我们手动使任务失败时,DAG任务停止运行,但DAG中的Pod不会被杀死并继续运行。这个描述和你的相符。尽管如此,谷歌云平台的当前版本是Airflow 1.10.6Composer-1.10.5-Airflow-1.10.6。因此,出于这个原因,我强烈建议您更新您的环境。

当您创建
KubernetesPodOperator
时,是否可以尝试
startup\u timeout\u seconds
参数?如中所述。显然,气流存在持续问题。您可以关注此问题获取任何更新。另外,你能告诉我你使用的是哪个版本的Airflow吗?好的,这是Airflow中的一个bug,谢谢你通知我,为了安全起见,我不得不在docker图像的代码中添加超时,并添加了一个max_active_运行。另外,我使用的是Airflow 1.10.1-composer(Google Cloud composer),我将尝试与我们的DevOps团队讨论这个问题,是的,我认为如果你把这个贴出来作为答案会更好,谢谢!我已经发布了答案。请考虑接受和支持它。实际上这确实超时了任务,但奇怪的是吊舱仍在运行,当下一个预定的运行触发时,这引起了一个问题。