Airflow 阻止调度任务的依赖项
我有一个airflow实例,在周日之前已经运行了2个月,没有任何问题。在我的气流任务所依赖的系统中发生了停电,一些任务排队等待了2天。在那之后,我们决定最好将当天的所有任务都标记为失败,然后丢失这些数据 尽管如此,现在所有新任务都会在适当的时间触发,但它们从未被设置为任何状态(既不排队也不运行)。我检查了日志,看到了以下输出: 阻止调度任务的依赖项 满足所有依赖项,但任务实例未运行。在大多数情况下,这仅仅意味着任务可能很快就会安排好,除非:Airflow 阻止调度任务的依赖项,airflow,airflow-scheduler,Airflow,Airflow Scheduler,我有一个airflow实例,在周日之前已经运行了2个月,没有任何问题。在我的气流任务所依赖的系统中发生了停电,一些任务排队等待了2天。在那之后,我们决定最好将当天的所有任务都标记为失败,然后丢失这些数据 尽管如此,现在所有新任务都会在适当的时间触发,但它们从未被设置为任何状态(既不排队也不运行)。我检查了日志,看到了以下输出: 阻止调度任务的依赖项 满足所有依赖项,但任务实例未运行。在大多数情况下,这仅仅意味着任务可能很快就会安排好,除非: 调度程序已关闭或负载过重 以下配置值可能会限制可排队
- 调度程序已关闭或负载过重
- 以下配置值可能会限制可排队进程的数量:并行性、dag\U并发性、最大活动dag\U每次dag运行次数、非池任务插槽计数
- 此任务实例已运行并已手动更改其状态(例如,在UI中清除)
depens\u on\u past
被设置为true,如果前一次运行失败,下一次将永远不会执行。我也检查过了,这不是我的情况
任何意见都会受到重视。
有什么想法吗?感谢在调试一个类似的问题时,我发现了这个设置:AIRFLOW\uuuu SCHEDULER\uuuu MAX\u DAGRUNS\u PER\u LOOP\u TO\u SCHEDULE(or),检查AIRFLOW代码时,调度器似乎查询要检查的DAGRUNS(考虑运行ti的),此查询被限制为该行数(默认情况下为20行)。所以,如果你有20个Diganguns在某种程度上被阻止(在我们的情况下,因为TI的是重试),那么它不会考虑其他Diguns,即使这些可以运行罚款。< /P>你能找出这个问题吗?我面临着同样的问题,但无法找到解决方案。玛丽亚,你能找到问题吗??我面临着同样的问题,但无法找到解决方案。