如何重试在scrapy中找不到404链接?
一些网站暂时给出404错误。但我把它粘贴到浏览器上,它可以工作。如何重试在scrapy中找不到404链接?,scrapy,Scrapy,一些网站暂时给出404错误。但我把它粘贴到浏览器上,它可以工作。 如何告诉scrapy重试404状态代码链接5次。有两个与您需要的内容相关的scrapy设置: :您应该覆盖项目中的默认值以包括404 :只需将其设置为5 也许您使用scrapy发出的请求太多,而站点只是返回404?即使我尝试每秒1个请求,它有时也会失败。有没有办法在scrapy中说要重试404状态?
如何告诉scrapy重试404状态代码链接5次。有两个与您需要的内容相关的scrapy设置:
- :您应该覆盖项目中的默认值以包括
404
- :只需将其设置为
5