Scrapy 长时间爬行

我正在运行一个长时间运行的爬网来下载一段时间（大约一小时）后失败的图像。我得到以下错误：

[1]+  Killed scrapy crawl myScrapper
Killed

除了被截断的图像之外，我在日志中没有任何特别的内容：

exceptions.IOError: image file is truncated (1 bytes not processed)

有人知道吗

---

谢谢

文件被截断的问题似乎是PIL经常出现的问题。我尝试在更大的服务器上不调整图像大小，但该过程仍会偶尔停止。我认为您收到的是标记图像，而不是像flickr上那样的原始图像。如果我错了，请更正我。图像是否被截断？实际上它们是非常大的图像。我认为PIL耗尽了时间或内存并截断了图像。但我再次尝试运行长时间运行的爬网，而不重新调整图像大小，并且它们仍然停止，没有错误。