Airflow 增加气流中特定DAG的超时时间

我有一个DAG，它需要很长时间来执行bigquery操作。我总是会收到错误“断开的DAG:[/home/aiffort/gcs/dags/xyz.py]超时”

---

我发现一些答案是，我们必须增加aiffort.cfg中的超时时间。但是这个想法不适合我的项目。是否可能以某种方式增加特定DAG的超时？任何人都可以帮忙。多谢各位

是，您可以在Dag上设置

dagrun\u timeout

参数

指定DAGROUN在运行之前应运行多长时间 超时/失败，以便可以创建新的运行。超时 仅对计划的DAG运行强制执行，并且仅在 #活动DagRuns的数量==最大活动次数

我们还为每个任务设置了一个参数

execution\u timeout

执行超时：允许执行的最大时间 此任务实例，如果超出范围，将引发并失败。 ：键入执行超时：datetime.timedelta

因此，如果其中一个任务正在BigQuery上运行查询，您可以使用以下命令

BigQueryOperator(sql=sql,
    destination_dataset_table={{ params.t_name }}),
    task_id='bq_query',
    bigquery_conn_id='my_bq_connection',
    use_legacy_sql=False,
    write_disposition='WRITE_TRUNCATE',
    create_disposition='CREATE_IF_NEEDED',
    query_params={'t_name': table_name},
    execution_timeout=datetime.timedelta(minutes=10)
    dag=dag)

---

是，您可以在Dag上设置

dagrun\u timeout

参数

指定DAGROUN在运行之前应运行多长时间 超时/失败，以便可以创建新的运行。超时 仅对计划的DAG运行强制执行，并且仅在 #活动DagRuns的数量==最大活动次数

我们还为每个任务设置了一个参数

execution\u timeout

执行超时：允许执行的最大时间 此任务实例，如果超出范围，将引发并失败。 ：键入执行超时：datetime.timedelta

因此，如果其中一个任务正在BigQuery上运行查询，您可以使用以下命令

BigQueryOperator(sql=sql,
    destination_dataset_table={{ params.t_name }}),
    task_id='bq_query',
    bigquery_conn_id='my_bq_connection',
    use_legacy_sql=False,
    write_disposition='WRITE_TRUNCATE',
    create_disposition='CREATE_IF_NEEDED',
    query_params={'t_name': table_name},
    execution_timeout=datetime.timedelta(minutes=10)
    dag=dag)

---

谢谢你的回复。我会试试的。这不是预期的效果。当我添加这个时，超时错误不会出现。它显示DAG正在运行。但其他一切都没有发生。有个问题，它现在不工作了。状态始终显示为no status谢谢您的回复。我会试试的。这不是预期的效果。当我添加这个时，超时错误不会出现。它显示DAG正在运行。但其他一切都没有发生。有个问题，它现在不工作了。状态始终显示为no status，错误消息提示Dag定义文件的解析和执行时间过长。我在is

dagbag\u import\u timeout

中确认了相关设置，该设置默认为30秒，错误消息提示解析和执行Dag定义文件的时间过长。我确认相关设置为

dagbag\u import\u timeout

，默认为30秒