Scrapy 刮痧+；飞溅（码头工人）问题

我在AWS Ubuntu服务器上安装了scrapy和scrapy splash。它可以正常工作一段时间，但几个小时后，我会开始收到这样的错误消息

Traceback (most recent call last):
  File "/home/ubuntu/.local/lib/python3.5/site-
packages/twisted/internet/defer.py", line 1384, in _inlineCallbacks
result = result.throwExceptionIntoGenerator(g)
  File "/home/ubuntu/.local/lib/python3.5/site-
packages/twisted/python/failure.py", line 393, in throwExceptionIntoGe
nerator
     return g.throw(self.type, self.value, self.tb)
   File "/home/ubuntu/.local/lib/python3.5/site-
 packages/scrapy/core/downloader/middleware.py", line 43, in process_re
quest
defer.returnValue((yield download_func(request=request,spider=spider)))
twisted.internet.error.ConnectionRefusedError: Connection was refused by 
other side: 111: Connection refused.

我会发现docker中的splash进程要么已经终止，要么没有响应

我一直在运行splash进程

sudo docker run -p 8050:8050 scrapinghub/splash

按照刮擦飞溅说明

我尝试在tmuxshell中启动该进程，以确保ssh连接不会干扰splah进程，但运气不佳

---

想法？

您应该使用

--restart

和

-d

选项运行容器。请参阅如何在生产中运行Splash。

谢谢。我只是在谷歌搜索时偶然发现了这个想法，但这是一个很好的资源。我将为下一个人添加。。。您可以通过“docker ps-a”了解docker进程失败的原因，并注意退出代码137似乎与内存过度使用有关。@Tomas的建议是，当进程因内存不足而失败时，让docker自动重启进程。Splash没有发送正确的url。请看看这个。我需要帮助。