Apache spark 具有过去结束日期的气流dag不';t触发时间表
我有一个具有以下配置的气流dag:Apache spark 具有过去结束日期的气流dag不';t触发时间表,apache-spark,airflow,airflow-scheduler,airflow-operator,Apache Spark,Airflow,Airflow Scheduler,Airflow Operator,我有一个具有以下配置的气流dag: { 'start_date': datetime(2017, 1, 1, 0, 0, 0) 'end_date': datetime(2019, 6, 1, 0, 0, 0), schedule_interval='@yearly', catchup=True } 对于以上内容,将在上创建2个明细表 => 2017-01-01, 2018-01-01. 它不会为2019-01-01创建,因为我只在计划间隔完成后才了解计划程序计划。在这种情
{
'start_date': datetime(2017, 1, 1, 0, 0, 0)
'end_date': datetime(2019, 6, 1, 0, 0, 0),
schedule_interval='@yearly',
catchup=True
}
对于以上内容,将在上创建2个明细表
=> 2017-01-01, 2018-01-01.
它不会为2019-01-01创建,因为我只在计划间隔完成后才了解计划程序计划。在这种情况下,2019年还没有结束,因此没有计划
既然我已经给出了结束日期,调度程序不应该理解结束日期已经结束并触发它吗
我知道通过将开始日期调整为一年前,并调整作业内的日期范围(执行日期+1年),可以解决此问题。(例如,从开工日期开始计划:2016-01-01)。因此,我们将有3个时间表(2016、2017、2018)来获取所有窗口
有没有人能解决这个问题,或者我遗漏了什么?。任何指示都会非常有用
谢谢,
亚历克斯