Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/cocoa/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何使scrapy在失去连接一段时间后继续下载_Scrapy - Fatal编程技术网

如何使scrapy在失去连接一段时间后继续下载

如何使scrapy在失去连接一段时间后继续下载,scrapy,Scrapy,我正试图使用scrapy刮取一个网站,但办公室的网络不稳定。如果网络连接中断几秒钟,scrapy就会卡住并停止下载。我们可以看到最后一个日志是: 2018-08-27 11:50:05 [urllib3.connectionpool] DEBUG: Starting new HTTPS connection (1): *.*.org 2018-08-27 11:50:07 [urllib3.connectionpool] DEBUG: https://**.**.org:443 "GET /01

我正试图使用
scrapy
刮取一个网站,但办公室的网络不稳定。如果网络连接中断几秒钟,
scrapy
就会卡住并停止下载。我们可以看到最后一个日志是:

2018-08-27 11:50:05 [urllib3.connectionpool] DEBUG: Starting new HTTPS connection (1): *.*.org
2018-08-27 11:50:07 [urllib3.connectionpool] DEBUG: https://**.**.org:443 "GET /01313_**0.jpg HTTP/1.1" 200 135790
我试图更改超时设置,但什么也没发生。
谢谢大家!

您可以尝试设置
重试次数
设置(在
settings.py
中):


您是否尝试过使用中提到的选项?谢谢您的回复,但我确实尝试过,但什么也没发生。当我们失去连接时,脚本卡在“启动新的HTTPS连接”中。
RETRY_TIMES=5