Airflow 气流:如何将DAG修改为回填?
我有一只狗已经跑了一段时间了。现在我有更多的旧数据可用,并希望回填 我更改我的参数:Airflow 气流:如何将DAG修改为回填?,airflow,Airflow,我有一只狗已经跑了一段时间了。现在我有更多的旧数据可用,并希望回填 我更改我的参数: default_args = { 'owner': 'drum', 'depends_on_past': False, 'start_date': datetime(2019, 7, 1), 'retries': 2, 'retry_delay': timedelta(minutes=5) } dag = DAG( dag_id='dag_one', c
default_args = {
'owner': 'drum',
'depends_on_past': False,
'start_date': datetime(2019, 7, 1),
'retries': 2,
'retry_delay': timedelta(minutes=5)
}
dag = DAG(
dag_id='dag_one',
catchup=False,
default_args=default_args,
schedule_interval='@weekly',
max_active_runs=1
)
致:
但是,这不会触发回填。我正在明确使用GUI,因为我没有访问终端的权限。我记得,在更改
开始日期时,您还需要更新dag\u id
(例如,到dag\u one\u v2
)。但是要小心,因为更新dag_id
将导致丢失所有dag的元数据。因此,气流将从2019-07-01起重新执行所有DAG。您可能还需要添加某种检查,无论您的数据是否已被处理。我记得,在更改开始日期时,您还需要更新您的dag\u id
(例如到dag\u one\u v2
)。但是要小心,因为更新dag_id
将导致丢失所有dag的元数据。因此,气流将从2019-07-01起重新执行所有DAG。您可能还需要添加某种检查,无论您的数据是否已被处理
default_args = {
'owner': 'drum',
'depends_on_past': False,
'start_date': datetime(2018, 1, 1), ### Update
'retries': 2,
'retry_delay': timedelta(minutes=5)
}
dag = DAG(
dag_id='dag_one',
catchup=True, ### Update
default_args=default_args,
schedule_interval='@weekly',
max_active_runs=1
)