Scrapy 刮痧+;tor总是返回403,但我可以卷曲和浏览
我正在尝试设置Scrapy 刮痧+;tor总是返回403,但我可以卷曲和浏览,scrapy,tor,torsocks,Scrapy,Tor,Torsocks,我正在尝试设置scrapy+tor 我用的是scrapy 0.24.6 我第一次尝试使用polipo作为http代理访问tor() 我可以将我的web浏览器配置为使用polipo,我可以使用TOR和curl进行浏览。 我尝试了HttpProxyMiddleware并使用env var或编写自己的自定义中间件,结果相同:scrapy始终返回403 然后我尝试直接使用tor,同样,我可以将我的web浏览器配置为使用socks代理,我可以使用torsocks卷曲,但是scrapy始终返回403 有人知
scrapy
+tor
我用的是scrapy 0.24.6
polipo
作为http代理访问tor
()
我可以将我的web浏览器配置为使用polipo,我可以使用TOR和curl进行浏览。
我尝试了HttpProxyMiddleware
并使用env var或编写自己的自定义中间件,结果相同:scrapy
始终返回403tor
,同样,我可以将我的web浏览器配置为使用socks代理,我可以使用torsocks
卷曲,但是scrapy
始终返回403scrapy
,因为我有完全相同的头/用户代理,有或没有tor,但通过tor我总是得到403