Scrapy 刮痧+;tor总是返回403,但我可以卷曲和浏览

Scrapy 刮痧+;tor总是返回403,但我可以卷曲和浏览,scrapy,tor,torsocks,Scrapy,Tor,Torsocks,我正在尝试设置scrapy+tor 我用的是scrapy 0.24.6 我第一次尝试使用polipo作为http代理访问tor() 我可以将我的web浏览器配置为使用polipo,我可以使用TOR和curl进行浏览。 我尝试了HttpProxyMiddleware并使用env var或编写自己的自定义中间件,结果相同:scrapy始终返回403 然后我尝试直接使用tor,同样,我可以将我的web浏览器配置为使用socks代理,我可以使用torsocks卷曲,但是scrapy始终返回403 有人知

我正在尝试设置
scrapy
+
tor

我用的是scrapy 0.24.6

  • 我第一次尝试使用
    polipo
    作为http代理访问
    tor
    () 我可以将我的web浏览器配置为使用polipo,我可以使用TOR和curl进行浏览。 我尝试了
    HttpProxyMiddleware
    并使用env var或编写自己的自定义中间件,结果相同:
    scrapy
    始终返回403

  • 然后我尝试直接使用
    tor
    ,同样,我可以将我的web浏览器配置为使用socks代理,我可以使用
    torsocks
    卷曲,但是
    scrapy
    始终返回403

  • 有人知道什么地方可能出了问题吗

    看起来错误来自于
    scrapy
    ,因为我有完全相同的头/用户代理,有或没有tor,但通过tor我总是得到403