Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/jsf-2/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Airflow 阻止调度任务的依赖项_Airflow_Airflow Scheduler - Fatal编程技术网

Airflow 阻止调度任务的依赖项

Airflow 阻止调度任务的依赖项,airflow,airflow-scheduler,Airflow,Airflow Scheduler,我有一个airflow实例,在周日之前已经运行了2个月,没有任何问题。在我的气流任务所依赖的系统中发生了停电,一些任务排队等待了2天。在那之后,我们决定最好将当天的所有任务都标记为失败,然后丢失这些数据 尽管如此,现在所有新任务都会在适当的时间触发,但它们从未被设置为任何状态(既不排队也不运行)。我检查了日志,看到了以下输出: 阻止调度任务的依赖项 满足所有依赖项,但任务实例未运行。在大多数情况下,这仅仅意味着任务可能很快就会安排好,除非: 调度程序已关闭或负载过重 以下配置值可能会限制可排队

我有一个airflow实例,在周日之前已经运行了2个月,没有任何问题。在我的气流任务所依赖的系统中发生了停电,一些任务排队等待了2天。在那之后,我们决定最好将当天的所有任务都标记为失败,然后丢失这些数据

尽管如此,现在所有新任务都会在适当的时间触发,但它们从未被设置为任何状态(既不排队也不运行)。我检查了日志,看到了以下输出:

阻止调度任务的依赖项

满足所有依赖项,但任务实例未运行。在大多数情况下,这仅仅意味着任务可能很快就会安排好,除非:

  • 调度程序已关闭或负载过重
  • 以下配置值可能会限制可排队进程的数量:并行性、dag\U并发性、最大活动dag\U每次dag运行次数、非池任务插槽计数
  • 此任务实例已运行并已手动更改其状态(例如,在UI中清除)
我的印象是,第三个主题是它不起作用的原因。 调度程序和Web服务器正在工作,但是我重新启动了调度程序,仍然得到了相同的结果。我还为一个作业删除了mysql数据库中的数据,但它仍然没有运行

我还看到一些帖子说它没有运行,因为
depens\u on\u past
被设置为true,如果前一次运行失败,下一次将永远不会执行。我也检查过了,这不是我的情况

任何意见都会受到重视。
有什么想法吗?感谢

在调试一个类似的问题时,我发现了这个设置:AIRFLOW\uuuu SCHEDULER\uuuu MAX\u DAGRUNS\u PER\u LOOP\u TO\u SCHEDULE(or),检查AIRFLOW代码时,调度器似乎查询要检查的DAGRUNS(考虑运行ti的),此查询被限制为该行数(默认情况下为20行)。所以,如果你有20个Diganguns在某种程度上被阻止(在我们的情况下,因为TI的是重试),那么它不会考虑其他Diguns,即使这些可以运行罚款。< /P>你能找出这个问题吗?我面临着同样的问题,但无法找到解决方案。玛丽亚,你能找到问题吗??我面临着同样的问题,但无法找到解决方案。