Python 2.7 气流回填不起作用
我正在使用气流运行工作流DAG。我设定的开始日期为2014年5月26日,计划间隔为1天,没有结束日期,并且使用芹菜执行器。Airflow从给定日期开始运行任务,并按预期从开始日期开始每天递增运行任务 但问题是,它只会从开始日期开始安排和运行DAG 16天,然后停止。我必须重新启动计划程序服务,以便它计划下一组DAG并运行 我已经修改了下面的属性,将它们设置为更高的airflow.cfg,但仍然不起作用Python 2.7 气流回填不起作用,python-2.7,scheduler,airflow,Python 2.7,Scheduler,Airflow,我正在使用气流运行工作流DAG。我设定的开始日期为2014年5月26日,计划间隔为1天,没有结束日期,并且使用芹菜执行器。Airflow从给定日期开始运行任务,并按预期从开始日期开始每天递增运行任务 但问题是,它只会从开始日期开始安排和运行DAG 16天,然后停止。我必须重新启动计划程序服务,以便它计划下一组DAG并运行 我已经修改了下面的属性,将它们设置为更高的airflow.cfg,但仍然不起作用 dag_concurrency = 9999 max_active_runs_per_dag
dag_concurrency = 9999
max_active_runs_per_dag = 9999
parallellism = 9999
celeryd_concurrency = 4
我的要求是让气流从开始日期到当前日期执行我的任务。看起来它可以运行的DAG数量是有限制的,但我无法弄清楚。请建议
我的airflow版本是1.7.1.2不确定我是否正确,是否要从某个日期到接下来的16天运行每日作业? 如果是这样的话,它与airflow.cfg没有任何关系,您发布的设置实际上可能会“杀死”您的机器,如果您有很多DAG,这是关于将并行运行和计划的任务实例 我想你需要定义一个开始日期和结束日期。 你可以这样做,当你建设的DAG将举行的工作。 一种方法是定义默认参数,然后在dag上使用它们
default_args = {
'owner': 'userXX',
'start_date': datetime(2014, 05, 26),
'end_date': datetime(2014, 06, 11),
'email': ['mail1..','mail2...'],
...
}
mydag = DAG(
PARENT_ID, default_args=default_args,
schedule_interval="@daily",
user_defined_macros=user_defined_macros
)
_some_Operator(
task_id='task_idxx',
.. other settings/jobrun...
dag=mydag,
)
希望这有助于在您的评论中输入
start_date
到end_date
。我遇到了同样的问题,这两个参数没有帮助:(