Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 具有过去结束日期的气流dag不';t触发时间表_Apache Spark_Airflow_Airflow Scheduler_Airflow Operator - Fatal编程技术网

Apache spark 具有过去结束日期的气流dag不';t触发时间表

Apache spark 具有过去结束日期的气流dag不';t触发时间表,apache-spark,airflow,airflow-scheduler,airflow-operator,Apache Spark,Airflow,Airflow Scheduler,Airflow Operator,我有一个具有以下配置的气流dag: { 'start_date': datetime(2017, 1, 1, 0, 0, 0) 'end_date': datetime(2019, 6, 1, 0, 0, 0), schedule_interval='@yearly', catchup=True } 对于以上内容,将在上创建2个明细表 => 2017-01-01, 2018-01-01. 它不会为2019-01-01创建,因为我只在计划间隔完成后才了解计划程序计划。在这种情

我有一个具有以下配置的气流dag:

{
 'start_date': datetime(2017, 1, 1, 0, 0, 0)
 'end_date': datetime(2019, 6, 1, 0, 0, 0),
  schedule_interval='@yearly',
  catchup=True
}
对于以上内容,将在上创建2个明细表

=> 2017-01-01, 2018-01-01.
它不会为2019-01-01创建,因为我只在计划间隔完成后才了解计划程序计划。在这种情况下,2019年还没有结束,因此没有计划

既然我已经给出了结束日期,调度程序不应该理解结束日期已经结束并触发它吗

我知道通过将开始日期调整为一年前,并调整作业内的日期范围(执行日期+1年),可以解决此问题。(例如,从开工日期开始计划:2016-01-01)。因此,我们将有3个时间表(2016、2017、2018)来获取所有窗口

有没有人能解决这个问题,或者我遗漏了什么?。任何指示都会非常有用

谢谢, 亚历克斯