Cookies Scrapy遇到http状态<；521>；

我是scrpay新手，尝试对网站页面进行爬网，但被返回http状态码

这是否意味着服务器拒绝连接？（我可以通过浏览器打开它） 我尝试使用cookie设置，但仍然返回521

问题:

我遇到521状态码的原因是什么

这是因为cookie设置吗？关于cookie设置，我的代码错了吗

我怎样才能抓取这个页面

非常感谢你的帮助

日志：

---

HTTP状态代码521是Cloudflare发送的自定义错误代码，通常表示web服务器已关闭：

在我的例子中，在my settings.py中设置自定义用户_代理后，该错误不再发生

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'crawler (+http://example.com)'

---

你解决521问题了吗？我在另一个网站同样的情况。

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'crawler (+http://example.com)'