Python 2.7 气流回填不起作用

Python 2.7 气流回填不起作用,python-2.7,scheduler,airflow,Python 2.7,Scheduler,Airflow,我正在使用气流运行工作流DAG。我设定的开始日期为2014年5月26日,计划间隔为1天,没有结束日期,并且使用芹菜执行器。Airflow从给定日期开始运行任务,并按预期从开始日期开始每天递增运行任务 但问题是,它只会从开始日期开始安排和运行DAG 16天,然后停止。我必须重新启动计划程序服务,以便它计划下一组DAG并运行 我已经修改了下面的属性,将它们设置为更高的airflow.cfg,但仍然不起作用 dag_concurrency = 9999 max_active_runs_per_dag

我正在使用气流运行工作流DAG。我设定的开始日期为2014年5月26日,计划间隔为1天,没有结束日期,并且使用芹菜执行器。Airflow从给定日期开始运行任务,并按预期从开始日期开始每天递增运行任务

但问题是,它只会从开始日期开始安排和运行DAG 16天,然后停止。我必须重新启动计划程序服务,以便它计划下一组DAG并运行

我已经修改了下面的属性,将它们设置为更高的airflow.cfg,但仍然不起作用

dag_concurrency = 9999
max_active_runs_per_dag = 9999
parallellism = 9999
celeryd_concurrency = 4
我的要求是让气流从开始日期到当前日期执行我的任务。看起来它可以运行的DAG数量是有限制的,但我无法弄清楚。请建议


我的airflow版本是1.7.1.2

不确定我是否正确,是否要从某个日期到接下来的16天运行每日作业? 如果是这样的话,它与airflow.cfg没有任何关系,您发布的设置实际上可能会“杀死”您的机器,如果您有很多DAG,这是关于将并行运行和计划的任务实例

我想你需要定义一个开始日期和结束日期。 你可以这样做,当你建设的DAG将举行的工作。 一种方法是定义默认参数,然后在dag上使用它们

default_args = {
     'owner': 'userXX',
     'start_date': datetime(2014, 05, 26),
     'end_date': datetime(2014, 06, 11),
     'email': ['mail1..','mail2...'],
    ...
}

mydag = DAG(
           PARENT_ID, default_args=default_args,
           schedule_interval="@daily",
           user_defined_macros=user_defined_macros
)

_some_Operator(
                task_id='task_idxx',
                .. other settings/jobrun...
                dag=mydag,

            )

希望这有助于在您的评论中输入
start_date
end_date
。我遇到了同样的问题,这两个参数没有帮助:(