Scrapy 当错误的请求号到达我设置的号码时，停止爬行的最佳实践

例如，我有400个页面需要抓取。有些页面可能返回3xx或4xx。我希望当这些页面的数量不好时

---

例如，请求到达100个。刮擦任务自动停止。Thks~

您可以使用不同的系统：

类中的全局变量，不推荐使用，但可能是最简单的解决方案 使用管道将其存储在数据库中 达到已配置的号码后，可以使用以下命令停止爬网程序：

if errors > maxNumberErrors:
    raise CloseSpider('message error')

还是从答案中

---

例如，您可以在crawler类中执行此操作。但这是一个简单而不是最好的解决方案。

from scrapy.project import crawler
crawler._signal_shutdown(9,0)