Airflow 为其他历史日期回填气流DAG

Airflow 为其他历史日期回填气流DAG,airflow,google-cloud-composer,Airflow,Google Cloud Composer,我有一个DAG,它可以将我的Google BigQuery数据库中的数据复制到另一个数据集中,并且工作正常 我想复制所有现有表,但我意外地将开始日期设置得晚了一年,导致新数据集中不存在一年的数据。为了尝试解决这个问题,我将开始日期设置为另一年,并手动触发DAG,但是它并没有像预期的那样重新填充表格-相反,DAG被卡在“运行”状态 default_args = { 'owner': 'airflow', 'depends_on_past': True, 'start_dat

我有一个DAG,它可以将我的Google BigQuery数据库中的数据复制到另一个数据集中,并且工作正常

我想复制所有现有表,但我意外地将开始日期设置得晚了一年,导致新数据集中不存在一年的数据。为了尝试解决这个问题,我将开始日期设置为另一年,并手动触发DAG,但是它并没有像预期的那样重新填充表格-相反,DAG被卡在“运行”状态

default_args = {
    'owner': 'airflow',
    'depends_on_past': True,
    'start_date': datetime(2016, 9, 27),
    'end_date': datetime(2017, 9, 27),
    'email': ['xxx@xxx.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 5,
    'retry_delay': timedelta(minutes=2)

修改开始日期并收集与第一个开始日期不一致的数据的正确过程是什么?

因此,每当我们不得不修改
开始日期时,我们只需重命名dag,以避免令人讨厌的调度程序问题,因为我们发现这是最简单、破坏性最小的方法

我知道我们不应该只链接到其他页面,但是在第三点到最后一点的气流汇流中也提到了重命名
dag_id
的方法,但是,它特别提到在更改
开始日期
间隔
时使用此方法,因为调度程序使用这两条信息来确定何时执行DAGROUN:

尽管如此,我们还是采用了重命名方法,它对我们很有效