Scrapy 刮痧+;飞溅(码头工人)问题

Scrapy 刮痧+;飞溅(码头工人)问题,scrapy,scrapy-splash,Scrapy,Scrapy Splash,我在AWS Ubuntu服务器上安装了scrapy和scrapy splash。它可以正常工作一段时间,但几个小时后,我会开始收到这样的错误消息 Traceback (most recent call last): File "/home/ubuntu/.local/lib/python3.5/site- packages/twisted/internet/defer.py", line 1384, in _inlineCallbacks result = result.throwExcep

我在AWS Ubuntu服务器上安装了scrapy和scrapy splash。它可以正常工作一段时间,但几个小时后,我会开始收到这样的错误消息

Traceback (most recent call last):
  File "/home/ubuntu/.local/lib/python3.5/site-
packages/twisted/internet/defer.py", line 1384, in _inlineCallbacks
result = result.throwExceptionIntoGenerator(g)
  File "/home/ubuntu/.local/lib/python3.5/site-
packages/twisted/python/failure.py", line 393, in throwExceptionIntoGe
nerator
     return g.throw(self.type, self.value, self.tb)
   File "/home/ubuntu/.local/lib/python3.5/site-
 packages/scrapy/core/downloader/middleware.py", line 43, in process_re
quest
defer.returnValue((yield download_func(request=request,spider=spider)))
twisted.internet.error.ConnectionRefusedError: Connection was refused by 
other side: 111: Connection refused.
我会发现docker中的splash进程要么已经终止,要么没有响应

我一直在运行splash进程

sudo docker run -p 8050:8050 scrapinghub/splash
按照刮擦飞溅说明

我尝试在tmuxshell中启动该进程,以确保ssh连接不会干扰splah进程,但运气不佳


想法?

您应该使用
--restart
-d
选项运行容器。请参阅如何在生产中运行Splash。

谢谢。我只是在谷歌搜索时偶然发现了这个想法,但这是一个很好的资源。我将为下一个人添加。。。您可以通过“docker ps-a”了解docker进程失败的原因,并注意退出代码137似乎与内存过度使用有关。@Tomas的建议是,当进程因内存不足而失败时,让docker自动重启进程。Splash没有发送正确的url。请看看这个。我需要帮助。