如何重试在scrapy中找不到404链接?

如何重试在scrapy中找不到404链接?,scrapy,Scrapy,一些网站暂时给出404错误。但我把它粘贴到浏览器上,它可以工作。 如何告诉scrapy重试404状态代码链接5次。有两个与您需要的内容相关的scrapy设置: :您应该覆盖项目中的默认值以包括404 :只需将其设置为5 也许您使用scrapy发出的请求太多,而站点只是返回404?即使我尝试每秒1个请求,它有时也会失败。有没有办法在scrapy中说要重试404状态?

一些网站暂时给出404错误。但我把它粘贴到浏览器上,它可以工作。
如何告诉scrapy重试404状态代码链接5次。

有两个与您需要的内容相关的scrapy设置:

  • :您应该覆盖项目中的默认值以包括
    404
  • :只需将其设置为
    5

也许您使用scrapy发出的请求太多,而站点只是返回404?即使我尝试每秒1个请求,它有时也会失败。有没有办法在scrapy中说要重试404状态?