Python 芹菜不使用所有并发插槽
我有一个芹菜集群,由带有8核处理器的机器组成。每台机器都有一个被设置为8-c8的并发因子的工作进程 我经常看到节点有很多保留任务,但只有一个或两个节点同时运行。我的任务通常是长时间运行的,需要大量的计算和I/O 关于为什么会发生这种情况,以及我能做些什么来增加同时运行的任务数量,有什么想法吗?芹菜是否根据系统负载限制活动任务的数量?我看了一下文档,但没有找到答案。多亏了,我想我找到了答案Python 芹菜不使用所有并发插槽,python,celery,distributed-computing,Python,Celery,Distributed Computing,我有一个芹菜集群,由带有8核处理器的机器组成。每台机器都有一个被设置为8-c8的并发因子的工作进程 我经常看到节点有很多保留任务,但只有一个或两个节点同时运行。我的任务通常是长时间运行的,需要大量的计算和I/O 关于为什么会发生这种情况,以及我能做些什么来增加同时运行的任务数量,有什么想法吗?芹菜是否根据系统负载限制活动任务的数量?我看了一下文档,但没有找到答案。多亏了,我想我找到了答案 我的一些任务正在生成子进程,芹菜在其并发性中占重要地位。您的任务是否正在运行子进程?因为芹菜也会在并发中计数
我的一些任务正在生成子进程,芹菜在其并发性中占重要地位。您的任务是否正在运行子进程?因为芹菜也会在并发中计数。我想可能是这样的!谢谢你的回答。