Python 如果在Scrapy中出现500个内部服务器错误，如何跳过URL？

我正在从数千页上抓取数据，一般URL为：

http://example.com/database/?id=(some number)

我在这里浏览身份证号码

---

我不断遇到大量URL，这些URL会产生500个内部服务器错误，出于某种原因，scrapy多次检查这些URL块。这会占用很多时间，因此我想知道是否有一种方法可以立即移动到下一个URL，而不让scrapy发送请求多次。

组件重试500个错误

如果您不希望Scrapy重试收到500个状态代码的请求，那么在

settings.py

中，您可以将

retry\u HTTP\u CODES

设置为不包含500（默认值为

[500、502、503、504、400、408]

），或者在启用

retry\u=False的情况下完全禁用RetryMiddleware

有关更多信息，请参阅。
-您看过这个吗。似乎默认情况下启用了重试。不过我略读了一下，并没有深入阅读。