Proxy scrapy代理获取scrapy.http.response.response没有属性';编码';

Proxy scrapy代理获取scrapy.http.response.response没有属性';编码';,proxy,scrapy,Proxy,Scrapy,我现在使用Scrapy通过http代理抓取一个站点。我听从了老师的指示。但是当我运行spider时,我得到了以下错误: 错误:下载错误:不是小控件文件。 然后,我在setting.py的DOWNLOADER_middleware中添加了以下语句: 'scrapy.contrib.downloadermiddleware.httpcompression.HttpCompressionMiddleware':无 在此之后,调试信息指示我已正确爬网网页,但在处理网页时,我出现以下错误: “响应”对象没

我现在使用Scrapy通过http代理抓取一个站点。我听从了老师的指示。但是当我运行spider时,我得到了以下错误:

错误:下载错误:不是小控件文件。

然后,我在setting.py的DOWNLOADER_middleware中添加了以下语句:

'scrapy.contrib.downloadermiddleware.httpcompression.HttpCompressionMiddleware':无

在此之后,调试信息指示我已正确爬网网页,但在处理网页时,我出现以下错误:

“响应”对象没有属性“编码”


请给我一些解决这个问题的建议。提前感谢您所做的一切。

您能提供蜘蛛的代码吗;或者至少是哪里出了问题?@SjaakTrekhaak抱歉我发现了问题所在。这是由http代理引起的。有时http代理返回的html源文件被gzip压缩,在这种情况下,Scrapy中的HtmlXPathSelector无法解析响应。有时返回的html源文件没有gzip,响应可以由HtmlPathSelctor解析。修改http代理中的一些参数后,就可以了。无论如何,谢谢你:)