Javascript 运行Scrapy spider时Cloudflare访问被拒绝_Javascript_Python_Web Scraping_Scrapy

Javascript 运行Scrapy spider时Cloudflare访问被拒绝

javascript python web-scraping scrapy

Javascript 运行Scrapy spider时Cloudflare访问被拒绝,javascript,python,web-scraping,scrapy,Javascript,Python,Web Scraping,Scrapy,我已经创建了一个scrapy spider，但该网站的cloudflare保护阻止了来自scrapy的请求，因为该网站在浏览器上运行得非常好我尝试使用用户代理。尝试更改IP地址。我使用了cfscrape，但也不起作用。什么都没用您是否将scrapy与python一起使用？你的配置文件怎么样？您是否限制每秒的请求？显示您的脚本，人们将帮助您您您将不得不使用各种代理IP，没有其他方法可以使用简单的scrapy绕过CF，或者使用真正的浏览器，如Splash、Selenium等，因为CF在加载页

我已经创建了一个scrapy spider，但该网站的cloudflare保护阻止了来自scrapy的请求，因为该网站在浏览器上运行得非常好

我尝试使用用户代理。尝试更改IP地址。我使用了cfscrape，但也不起作用。

什么都没用

您是否将scrapy与python一起使用？你的配置文件怎么样？您是否限制每秒的请求？显示您的脚本，人们将帮助您您您将不得不使用各种代理IP，没有其他方法可以使用简单的scrapy绕过CF，或者使用真正的浏览器，如Splash、Selenium等，因为CF在加载页面时使用JS来解决一个谜题，编辑甚至不处理urllib请求，如果有任何解决方案可以让它处理urllib或请求，那就好了。您能提供实际的链接吗？