Airflow 气流-是否可以使用回填命令一次(顺序)运行一天?

Airflow 气流-是否可以使用回填命令一次(顺序)运行一天?,airflow,apache-airflow,airflow-scheduler,Airflow,Apache Airflow,Airflow Scheduler,基本上,我希望运行回填命令整整一个月。但有些任务取决于前一天的数据。据我所知,这个命令每天都在同一时间运行 airflow backfill adsquare_events -s 2017-01-01 -e 2017-01-31 是否有办法使回填命令一次运行一天(按顺序) 干杯。您好,您应该在默认参数中将参数depends on\u pass设置为True default_args = { 'owner': 'whatever', 'depends_on_past': True

基本上,我希望运行回填命令整整一个月。但有些任务取决于前一天的数据。据我所知,这个命令每天都在同一时间运行

airflow backfill adsquare_events -s 2017-01-01 -e 2017-01-31
是否有办法使回填命令一次运行一天(按顺序)


干杯。

您好,您应该在默认参数中将参数depends on\u pass设置为True

default_args = {
    'owner': 'whatever',
    'depends_on_past': True,
    'start_date': datetime(2017, 9, 17),
    'email': ['xxxxx'],
    'email_on_failure': True,
    'email_on_retry': True,
    'retries': 1,
    'retry_delay': timedelta(minutes=10),
}

“Dependes_on_past”属性似乎不会使每个DagRun等待上一个DagRun完成。相反,似乎每个任务都在等待前一次运行中的相关任务,因此结果是运行2的“任务1”与运行1的“任务2”同时启动。。。我的问题是每次运行都使用相同的暂存桶/表,因此它们会相互干扰。。。