Python 刮取searchencrypt始终重定向到过期

使用scrapy，我正在尝试创建一个searchencrypt url，如下所示：

https://www.searchencrypt.com/encsearch?q=box&d=search&ps=www

但它总是重定向到

https://www.searchencrypt.com/search?eq=Y8Ly0N6PX%2bPfTYAwJIXS%2bw%3d%3d&ett=5&ptc=://mail

它在浏览器中工作得非常好

我已经尝试了多种设置值的排列，如

用户代理

，

下载延迟

，

默认请求头

，

并发请求

，

COOKIES\u启用

，

下载程序客户端TLS\u方法

，

DNS\u超时

等

---

您是否知道我可以使用scrapy中的任何工作设置或选项来阻止重定向？

如果您清除该域的本地存储和Cookie，保持浏览器中的网络检查器处于打开状态，并访问URL，您将看到在web浏览器显示内容之前发生的所有请求和响应

---

查找包含所需实际数据的请求，检查其所有标头，了解它们是如何生成的（例如，从以前的请求接收到的数据，在最终请求之前必须运行这些请求），然后尝试并模拟单个搜索URL的工作流。

当我在浏览器中尝试第一个URL时，它会将我重定向到类似于第二个URL的URL。当您在浏览器中运行时，可能会制作其他内容。一些门户会检查许多不同的元素以识别浏览器和阻止脚本/bot。也许你必须在请求中设置一些标题-例如，

用户代理

？@furas当然，我想你的思路是正确的，一旦你有了scrapy的完整答案，请随时发布答案。正如@furas建议的，看看你正在使用的标题，尝试一些东西。