Airflow 气流忽略开始日期并立即安排任务
我已经创建了具有开始日期和计划间隔的DAG,如下所示:Airflow 气流忽略开始日期并立即安排任务,airflow,airflow-scheduler,Airflow,Airflow Scheduler,我已经创建了具有开始日期和计划间隔的DAG,如下所示: default_args = { 'start_date': datetime(2020, 11, 16, tzinfo=local_tz), 'retries': 3, 'retry_delay': timedelta(minutes=1), 'execution_timeout': timedelta(seconds=3600), } dag = DAG( 'batch_job', de
default_args = {
'start_date': datetime(2020, 11, 16, tzinfo=local_tz),
'retries': 3,
'retry_delay': timedelta(minutes=1),
'execution_timeout': timedelta(seconds=3600),
}
dag = DAG(
'batch_job',
default_args=default_args,
description='Batch job',
schedule_interval=timedelta(days=1),
)
task_0= BashOperator(
task_id='task_0',
bash_command='cd %s && ./run.sh -p %s -e {{ next_ds }}' %(dir_path, phase),
dag=dag,
)
task_0
我打算用过去几天的任务,每到午夜运行一次任务。但当我在Airflow web UI中切换DAG时,任务会被安排并立即运行。此外,调度程序根本不回填任务
在web UI中,任务属性的“开始日期”值似乎与我预期的一样正确,但任务实例属性忽略了这一点,并使用“时间切换”覆盖了它
我目前正在MySQL和RabbitMQ中使用Airflow 1.10.12
我怎样才能解决这个问题?我自己找到了解决办法 Cathup(回填)被禁用为
AIRFLOW\uuu SCHEDULER\uuu cathup\u默认情况下
环境设置为False
我在DAG实例的参数中添加了catchup=True
,它按照我的预期工作
参考:我自己找到了解决方案 Cathup(回填)被禁用为
AIRFLOW\uuu SCHEDULER\uuu cathup\u默认情况下
环境设置为False
我在DAG实例的参数中添加了catchup=True
,它按照我的预期工作
参考: