Airflow 气流:是否可以在DAG中配置任务级超时?

Airflow 气流:是否可以在DAG中配置任务级超时?,airflow,airflow-scheduler,Airflow,Airflow Scheduler,气流:是否可以在DAG中配置任务级超时 我希望防止任务无限期地运行。据我所知,只有当任务完成并超出sla时,sla参数才会出现。对于气流中的操作员超时,您可以添加执行超时参数。从文档中: ExAction_timeout(datetime.timedelta)–执行此任务实例所允许的最大时间,如果超出此时间,将引发并失败 它需要一个datetime.timedelta,例如timedelta(hours=1),任务的最大时间为1小时 请注意,对于传感器,执行超时不起作用。传感器需要一个超时参数。

气流:是否可以在DAG中配置任务级超时


我希望防止任务无限期地运行。据我所知,只有当任务完成并超出sla时,sla参数才会出现。

对于气流中的操作员超时,您可以添加
执行超时
参数。从文档中:

ExAction_timeout(datetime.timedelta)–执行此任务实例所允许的最大时间,如果超出此时间,将引发并失败

它需要一个
datetime.timedelta
,例如
timedelta(hours=1)
,任务的最大时间为1小时


请注意,对于传感器,执行超时不起作用。传感器需要一个
超时
参数。

对于气流中的操作员超时,可以添加
执行超时
参数。从文档中:

ExAction_timeout(datetime.timedelta)–执行此任务实例所允许的最大时间,如果超出此时间,将引发并失败

它需要一个
datetime.timedelta
,例如
timedelta(hours=1)
,任务的最大时间为1小时


请注意,对于传感器,执行超时不起作用。传感器需要一个
超时
参数。

我发现,无论您是否有超时或执行超时,或者甚至两者都存在,传感器实际上仍然可以工作。虽然它可能被设计为只对正常任务使用执行超时,而对传感器任务使用超时,但它们似乎都使用分配的重试次数,并以相同的方式运行(终止当前运行并进行重试,或者在没有重试的情况下失败)。到目前为止,我所看到的唯一区别是它们抛出的错误。“airflow.exceptions.AirflowSensorTimeout:Snap.Time's OUT.”与“airflow.exceptions.AirflowTaskTimeout:Timeout,PID:“我发现,无论您是否有超时或执行超时,或者甚至两者都有,传感器实际上仍然可以工作。虽然它可能被设计为只对正常任务使用执行超时,而对传感器任务使用超时,但它们似乎都使用分配的重试次数,并以相同的方式运行(终止当前运行并进行重试,或者在没有重试的情况下失败)。到目前为止,我所看到的唯一区别是它们抛出的错误。“airflow.exceptions.AirflowSensorTimeout:捕捉。时间已过。”与“airflow.exceptions.AirflowTaskTimeout:超时,PID:”