Airflow 气流不考虑池的大小?
使用带有LocalExecutor的airflow回填,池可用插槽似乎被忽略。如下图所示。我知道这是几年前提出的,但这仍然是一个问题吗Airflow 气流不考虑池的大小?,airflow,pool,Airflow,Pool,使用带有LocalExecutor的airflow回填,池可用插槽似乎被忽略。如下图所示。我知道这是几年前提出的,但这仍然是一个问题吗 Pool Slots Used Slots Queued Slots workerpool0 3 0 0 workerpool2 3 12 0 已尝试重新启动Web服务器、计划程序 在BashOperator中定义池 BashOperator( task_id='sleep.%d'%i,
Pool Slots Used Slots Queued Slots
workerpool0 3 0 0
workerpool2 3 12 0
已尝试重新启动Web服务器、计划程序
在BashOperator中定义池
BashOperator(
task_id='sleep.%d'%i,
bash_command='sleep %d'%(i+5),
retries=3,
pool='workerpool2',
dag=dag)
我预计池的大小为3,但实际分配了12个作业,如上所述?根据
如果池中有多个调度程序,则池不是线程安全的
localExecutor模式即使在
游泳池满了
可能是重复的,我想这是即将改变与HA调度程序。我们可能会看到在如何管理这些任务方面的增强,因为保存状态的是元数据数据库,而不是不同的调度器