Django 什么会耽误我的芹菜任务?

Django 什么会耽误我的芹菜任务?,django,task,celery,Django,Task,Celery,伙计们 我有一个lil问题,也许有人能帮我弄清楚这里到底发生了什么: 我有数千个相同的任务,它们应该在毫秒内执行,而在我重新启动worker之后,它们实际上是在毫秒内执行的,但是在记录了一系列这些任务之后,我从芹菜上看到一个大斑点,说它们是在一个更大的时间框架内完成的。。之后,每项任务都需要5-13秒来执行。 这让我计算出芹菜可以在大约一周的执行时间内完成所有任务。(aaaaahhh) 工人重启后,大约30-60个任务以正常速度执行。 在那之后,我每隔几秒钟就会得到一个结果,就像上面提到的4-1

伙计们

我有一个lil问题,也许有人能帮我弄清楚这里到底发生了什么:

我有数千个相同的任务,它们应该在毫秒内执行,而在我重新启动worker之后,它们实际上是在毫秒内执行的,但是在记录了一系列这些任务之后,我从芹菜上看到一个大斑点,说它们是在一个更大的时间框架内完成的。。之后,每项任务都需要5-13秒来执行。 这让我计算出芹菜可以在大约一周的执行时间内完成所有任务。(aaaaahhh)

工人重启后,大约30-60个任务以正常速度执行。 在那之后,我每隔几秒钟就会得到一个结果,就像上面提到的4-13秒。 当然,在某些情况下,要做的事情比在其他情况下要多一些,但这并不能证明从0.08秒到13秒的差异是合理的

我目前正在使用redis作为代理(很快就会切换到RabbitMQ),结果后端和任务本身会将一些数据保存到Solr实例,但所有这些连接仍应在毫秒内完成

我想弄清楚到底是什么耽误了所有这些任务。有人吗

愉快的
安迪,我们这里也有同样的问题。我们通过在django设置中使用芹菜设置解决了这个问题。在降低并发性(到2)并将其重置为原始状态(10)之后,一切正常。
也许可以试一试。

我们这里也有同样的问题。我们通过在django设置中使用芹菜设置解决了这个问题。在降低并发性(到2)并将其重置为原始状态(10)之后,一切正常。
也许可以尝试一下。

经过长时间的努力,偶尔修复并再次破坏它,我发现问题出在工作人员本身(以及配置本身)。 配置说要将结果写入后端,它做得很好,在“垃圾箱”中有50k的结果。。后来,工人变得毫无反应。。经过几个小时的磨磨蹭蹭,我终于在本地调试了worker,让我惊讶的是,它在redis响应方法中被卡住了

这种“刚刚”在服务器上花费了大约10秒,但在我的拨号连接上有点像永远。因此,我在redis响应方法中添加了一个打印,并看到redis中可用的所有50k结果键都流到了我的机器上。。对于执行的每个任务

这就是为什么一切都变得毫无反应的真正原因。 添加芹菜的设置以停止写入结果,并清除redis后端,立即解决了问题

我仍然想知道为什么redis喜欢请求密钥,尽管它不应该使用em。我没有以任何方式评估结果,否则一开始就不会有50kP

不管怎么说-给那个把密码放在那里的人
对所有的鱼来说都是如此漫长,经过长时间的努力,偶尔修复并再次打破它,我发现问题在于工人本身(以及配置-我的坏)。 配置说要将结果写入后端,它做得很好,在“垃圾箱”中有50k的结果。。后来,工人变得毫无反应。。经过几个小时的磨磨蹭蹭,我终于在本地调试了worker,让我惊讶的是,它在redis响应方法中被卡住了

这种“刚刚”在服务器上花费了大约10秒,但在我的拨号连接上有点像永远。因此,我在redis响应方法中添加了一个打印,并看到redis中可用的所有50k结果键都流到了我的机器上。。对于执行的每个任务

这就是为什么一切都变得毫无反应的真正原因。 添加芹菜的设置以停止写入结果,并清除redis后端,立即解决了问题

我仍然想知道为什么redis喜欢请求密钥,尽管它不应该使用em。我没有以任何方式评估结果,否则一开始就不会有50kP

不管怎么说-给那个把密码放在那里的人 对所有的鱼来说都是如此漫长