Amazon ec2 芹菜工人只使用15%的cpu?

Amazon ec2 芹菜工人只使用15%的cpu?,amazon-ec2,celery,django-celery,celeryd,Amazon Ec2,Celery,Django Celery,Celeryd,我正在运行芹菜+兔子MQ应用程序。我启动了一堆ec2机器,但我发现我的芹菜工人机器只使用大约15%的cpu(峰值30%)。我已经为每台机器配置了6个芹菜工人(我只是将工人数量设置为比虚拟cpu大得多) 芹菜工人不应该接近使用100%的cpu利用率吗?我觉得我的工人们好像在“偷懒”,我想知道这是否是一种常见的现象。我应该只保留默认的每个核心1个芹菜工人吗 当查看我的芹菜工人日志时,他们都在工作,并成功地连接到我的单一经纪人。我关闭了芹菜心跳等选项,因为它们给我带来了同步/延迟问题 更多信息:我没有

我正在运行芹菜+兔子MQ应用程序。我启动了一堆ec2机器,但我发现我的芹菜工人机器只使用大约15%的cpu(峰值30%)。我已经为每台机器配置了6个芹菜工人(我只是将工人数量设置为比虚拟cpu大得多)

芹菜工人不应该接近使用100%的cpu利用率吗?我觉得我的工人们好像在“偷懒”,我想知道这是否是一种常见的现象。我应该只保留默认的每个核心1个芹菜工人吗

当查看我的芹菜工人日志时,他们都在工作,并成功地连接到我的单一经纪人。我关闭了芹菜心跳等选项,因为它们给我带来了同步/延迟问题


更多信息:我没有使用芹菜——并发选项或eventlet,即使我使用了多个worker。

您有很多I/O吗?因为在大多数情况下,我的进程不使用100%的CPU,因为它们正在等待一些东西。也许你可以检查服务器负载而不是CPU。如果有一个CPU,1个或更多的负载意味着你正在使用该机器的最大值。啊,我的任务对S3中的文件执行正则表达式扫描,所以它必须从S3中提取文件。它还必须打开一个文件来完成这项任务。这就是你说的I/O,对吗?那我有没有办法加快这个过程?我的每项任务大约需要.5-.8我对Amazon网络还不够熟悉,无法告诉您如何(如果可能的话)优化对S3存储的访问。但是,通过网络加载文件并非不可能,这超出了您的能力,使其运行得更快。根据使用的网络I/O数量,您可以在单个节点上复制进程,以减少在“硬件”上的开销。但这并不能解决你目前的速度问题。。。