Web scraping Scrapy-用户会话超时，用户在抓取网站时注销 为什么用户在被刮蹭的时候被记录下来？我不能分享我的代码，我只是想知道为什么会发生这种行为-

是因为饼干吗？我没有手动传递任何cookies，因为scrapy默认处理cookies

请求中是否缺少某些标头？我没有为请求明确传递任何标头

还是因为其他原因

如果是因为cookies，我如何为每个请求传递cookies

如果是因为头，那么每个请求需要传递的最重要的头是什么

---

如果您有任何建议，我们将不胜感激。

如果您登录，是的，您需要处理cookies，有关cookies的更多信息，请查看

这也可能是因为您在站点上的会话已过期，因此当您遇到此问题时，需要重新登录站点

对于报头，您需要检查网络并查看请求需要哪些报头