Python 2.7 Scrapy使用代理并获得扭曲错误

我发现我爬行的某些页面速度很慢，并且用来访问该页面的速度相对较快，因此在启动爬行器之前，我运行以下命令：

export http_proxy=http://192.168.1.102:8087

然而，当我启动spider时，它会报告以下内容：

[<twisted.python.failure.Failure <class 'twisted.web._newclient.ParseError'>>]

输出标题对我来说似乎很正常：

HTTP/1.1 200
Content-Length: 0
Via: HTTP/1.1 GWA
Content-Encoding: gzip
X-Powered-By: PHP/5.3.3
Vary: Accept-Encoding
Server: Apache/2.2.15 (CentOS)
Connection: close
Date: Sun, 30 Mar 2014 16:49:29 GMT
Content-Type: text/html

我尝试将此添加到scrapy的

设置.py

：

 DOWNLOADER_MIDDLEWARES = {
    'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware':100
 }

不过，运气不好。是因为刮皮的问题还是我遗漏了什么

---

我的scrapy版本是

scrapy 0.22.2

您可以尝试同时启用http\U代理和https\U代理

export http_proxy=http://192.168.1.102:8087
export https_proxy=http://192.168.1.102:8087

我猜你的Twisted是15.0.0，这个版本的https抛出代理有问题

export http_proxy=http://192.168.1.102:8087
export https_proxy=http://192.168.1.102:8087