403将请求从chrome复制到curl时
试图刮去一个网站。大约一个月前它还可以正常工作，但现在它给出了403响应，尽管curl请求是从chromedev工具复制的。这些请求仍然可以通过浏览器和邮递员进行处理。403将请求从chrome复制到curl时,curl,web-scraping,scrapy,Curl,Web Scraping,Scrapy,试图刮去一个网站。大约一个月前它还可以正常工作，但现在它给出了403响应，尽管curl请求是从chromedev工具复制的。这些请求仍然可以通过浏览器和邮递员进行处理。 网站是kohls.com可能尝试使用一些代理，看起来他们真的用403回答了一些IP池。你被用户代理阻止了。尝试将其设置为-A标志和-L标志，以遵循如下重定向： curl -v -L -A "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:63.0) Gecko/20100101 Fire
网站是kohls.com可能尝试使用一些代理，看起来他们真的用403回答了一些IP池。你被用户代理阻止了。尝试将其设置为-A标志和-L标志，以遵循如下重定向：
curl -v -L -A "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:63.0) Gecko/20100101 Firefox/63.0" https://kohls.com
换成不同的代理也没用。当cookies从浏览器中复制时，请求通过邮递员正常工作。是。因此，某些代理确实起作用。但我想知道网站是如何检测到我在使用curl或scrapy的。建议您从chrome复制curl，并在shell中执行它，如果它有效，解析它，然后用python中的requests模块复制数据、参数、url和make requests。在这个过程中，希望您能找到伪造数据的解决方案，从而成功请求