如何使scrapy在失去连接一段时间后继续下载
我正试图使用如何使scrapy在失去连接一段时间后继续下载,scrapy,Scrapy,我正试图使用scrapy刮取一个网站,但办公室的网络不稳定。如果网络连接中断几秒钟,scrapy就会卡住并停止下载。我们可以看到最后一个日志是: 2018-08-27 11:50:05 [urllib3.connectionpool] DEBUG: Starting new HTTPS connection (1): *.*.org 2018-08-27 11:50:07 [urllib3.connectionpool] DEBUG: https://**.**.org:443 "GET /01
scrapy
刮取一个网站,但办公室的网络不稳定。如果网络连接中断几秒钟,scrapy
就会卡住并停止下载。我们可以看到最后一个日志是:
2018-08-27 11:50:05 [urllib3.connectionpool] DEBUG: Starting new HTTPS connection (1): *.*.org
2018-08-27 11:50:07 [urllib3.connectionpool] DEBUG: https://**.**.org:443 "GET /01313_**0.jpg HTTP/1.1" 200 135790
我试图更改超时设置,但什么也没发生。
谢谢大家! 您可以尝试设置
重试次数
设置(在settings.py
中):
您是否尝试过使用中提到的选项?谢谢您的回复,但我确实尝试过,但什么也没发生。当我们失去连接时,脚本卡在“启动新的HTTPS连接”中。
RETRY_TIMES=5