Scrapy HTTP重定向301问题
我正在尝试刮取一个网站，刮取的每个子链接都返回一个HTTP 301重定向响应，响应对象中没有数据 2015-07-18 01:54:52[scrapy]调试：已爬网（301）http://website.example>>（参考人：） 我已经在scrapy请求中关闭了以下带有meta标记的重定向（meta={'dont_redirect'：True'handle_httpstatus_list'：[301]}） 打开重定向后，301响应返回与重定向请求相同的URL 2015-07-18 02:00:52[scrapy]调试：重定向（301）到>从http://website.example/tutorials/communications/20364/com-340-entire-course-mass-communication/> 你能给我一些建议，如何处理HTTP 301响应以成功地抓取页面吗Scrapy HTTP重定向301问题,http,redirect,scrapy,http-status-code-301,Http,Redirect,Scrapy,Http Status Code 301,我正在尝试刮取一个网站，刮取的每个子链接都返回一个HTTP 301重定向响应，响应对象中没有数据 2015-07-18 01:54:52[scrapy]调试：已爬网（301）http://website.example>>（参考人：） 我已经在scrapy请求中关闭了以下带有meta标记的重定向（meta={'dont_redirect'：True'handle_httpstatus_list'：[301]}） 打开重定向后，301响应返回与重定向请求相同的URL 2015-07-18 02:0
我尝试打开/关闭重定向中间件，并使用匿名代理，但运气不佳。不幸的是，没有：（检查我的问题，为我解决了它，必须继续尝试不同的事情。