Celery 在Apache中通过性能平衡任务分配

Celery 在Apache中通过性能平衡任务分配,celery,load-balancing,airflow,dask,Celery,Load Balancing,Airflow,Dask,我想根据每个员工的健康状况和当前负载,在Apache Airflow中将工作分配给我的员工。类似的东西是我所追求的 工人是否有办法报告他们的负荷/健康状况,并相应地分配任务?我对Dask或芹菜很好,但最熟悉的是芹菜如果你使用Dask,它会自动完成。Dask调度程序负责负载平衡和节点空闲。虽然我对芹菜不太熟悉,但我希望芹菜也能做到这一点。,这将导致工人只能做他们能利用的工作。达斯克是否检查工人的健康/负荷,并在此基础上进行平衡?是的。Dask检查每个工人的健康和占用情况。此信息用于制定计划决策。

我想根据每个员工的健康状况和当前负载,在Apache Airflow中将工作分配给我的员工。类似的东西是我所追求的


工人是否有办法报告他们的负荷/健康状况,并相应地分配任务?我对Dask或芹菜很好,但最熟悉的是芹菜

如果你使用Dask,它会自动完成。Dask调度程序负责负载平衡和节点空闲。虽然我对芹菜不太熟悉,但我希望芹菜也能做到这一点。

,这将导致工人只能做他们能利用的工作。达斯克是否检查工人的健康/负荷,并在此基础上进行平衡?是的。Dask检查每个工人的健康和占用情况。此信息用于制定计划决策。