Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/unit-testing/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Airflow 气流:如何将DAG修改为回填?_Airflow - Fatal编程技术网

Airflow 气流:如何将DAG修改为回填?

Airflow 气流:如何将DAG修改为回填?,airflow,Airflow,我有一只狗已经跑了一段时间了。现在我有更多的旧数据可用,并希望回填 我更改我的参数: default_args = { 'owner': 'drum', 'depends_on_past': False, 'start_date': datetime(2019, 7, 1), 'retries': 2, 'retry_delay': timedelta(minutes=5) } dag = DAG( dag_id='dag_one', c

我有一只狗已经跑了一段时间了。现在我有更多的旧数据可用,并希望回填

我更改我的参数:

default_args = {
    'owner': 'drum',
    'depends_on_past': False,
    'start_date': datetime(2019, 7, 1),
    'retries': 2,
    'retry_delay': timedelta(minutes=5)
}

dag = DAG(
    dag_id='dag_one',
    catchup=False,
    default_args=default_args,
    schedule_interval='@weekly',
    max_active_runs=1
)
致:


但是,这不会触发回填。我正在明确使用GUI,因为我没有访问终端的权限。

我记得,在更改
开始日期时,您还需要更新
dag\u id
(例如,到
dag\u one\u v2
)。但是要小心,因为更新
dag_id
将导致丢失所有dag的元数据。因此,气流将从2019-07-01起重新执行所有DAG。您可能还需要添加某种检查,无论您的数据是否已被处理。

我记得,在更改
开始日期时,您还需要更新您的
dag\u id
(例如到
dag\u one\u v2
)。但是要小心,因为更新
dag_id
将导致丢失所有dag的元数据。因此,气流将从2019-07-01起重新执行所有DAG。您可能还需要添加某种检查,无论您的数据是否已被处理

default_args = {
    'owner': 'drum',
    'depends_on_past': False,
    'start_date': datetime(2018, 1, 1), ### Update
    'retries': 2,
    'retry_delay': timedelta(minutes=5)
}

dag = DAG(
    dag_id='dag_one',
    catchup=True,  ### Update
    default_args=default_args,
    schedule_interval='@weekly',
    max_active_runs=1
)