Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/oracle/9.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 在程序外更改代理时,重复循环直到失败_Python_Proxy_Scrapy - Fatal编程技术网

Python 在程序外更改代理时,重复循环直到失败

Python 在程序外更改代理时,重复循环直到失败,python,proxy,scrapy,Python,Proxy,Scrapy,我有一个程序来更改计算机的ip地址,运行正常。 我尝试在每个服务器ip地址上爬行我的scrapy项目,效果很好 但是,有时当程序在运行scrapy时交换ip地址时,会出现以下错误: 2019-07-19 14:35:38 [scrapy_user_agents.middlewares] DEBUG: Proxy is detected https://127.0.0.1:21218 2019-07-19 14:35:38 [scrapy_user_agents.middlewares] DEBU

我有一个程序来更改计算机的ip地址,运行正常。 我尝试在每个服务器ip地址上爬行我的scrapy项目,效果很好

但是,有时当程序在运行scrapy时交换ip地址时,会出现以下错误:

2019-07-19 14:35:38 [scrapy_user_agents.middlewares] DEBUG: Proxy is detected https://127.0.0.1:21218
2019-07-19 14:35:38 [scrapy_user_agents.middlewares] DEBUG: Assigned User-Agent Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/5
37.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36
2019-07-19 14:35:38 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET http://www.ebay.com/sch/allcategories/all-categories
/?_rdc=1> (failed 175 times): [<twisted.python.failure.Failure OpenSSL.SSL.Error: [('SSL routines', 'ssl3_get_record', 'wrong vers
ion number')]>]
2019-07-19 14:35:38[scrapy\u user\u agents.middleware]调试:检测到代理https://127.0.0.1:21218
2019-07-19 14:35:38[scrapy_user_agents.Middleware]调试:分配的用户代理Mozilla/5.0(Windows NT 10.0;WOW64)AppleWebKit/5
37.36(KHTML,像壁虎)铬/44.0.2403.157狩猎/537.36
2019-07-19 14:35:38[scrapy.downloadermiddleware.retry]调试:重试(失败175次):[]

有时我的IP地址会改变,它会继续,但有时它会失败,并会循环输出此代码,重试200次。

结果是有一个重定向破坏了它,所以我添加了

meta = {'dont_redirect': True, 'handle_httpstatus_list': [301,302]}

为了提高我的收益率,它运行良好

结果发现有一个重定向正在破坏它,所以我添加了

meta = {'dont_redirect': True, 'handle_httpstatus_list': [301,302]}

对我的收益率来说,它很好

好吧,但问题是什么?好吧,但问题是什么?