Scrapy CLOSESPIDER\u ERRORCOUNT参数含义
我想知道CLOSESPIDER_ERRORCOUNT=1 如果发生错误，它是否会像kill-s9pid那样被迫退出，或者在遇到错误后所有后续工作都完成后，然后像kill 2pid那样退出，因为我是一个分布式爬虫程序，我将记录每个请求的所有信息。我希望它报告一个错误，然后停止运行。修改错误后，我可以在最后一站继续爬行。 此外，如果请求不合理，我将配置为重试5次。如果我添加CLOSESPIDER\u ERRORCOUNT，它将影响上述配置。如果达到，将调用crawler.engine.close\u spider函数，该函数将有序地关闭spider。它不会被杀死 只要您的RetryMiddleware不断重试请求，它们就不会被视为错误 你不能在最后一站继续爬行。为此，您将需要Scrapy CLOSESPIDER\u ERRORCOUNT参数含义,scrapy,Scrapy,我想知道CLOSESPIDER_ERRORCOUNT=1 如果发生错误，它是否会像kill-s9pid那样被迫退出，或者在遇到错误后所有后续工作都完成后，然后像kill 2pid那样退出，因为我是一个分布式爬虫程序，我将记录每个请求的所有信息。我希望它报告一个错误，然后停止运行。修改错误后，我可以在最后一站继续爬行。 此外，如果请求不合理，我将配置为重试5次。如果我添加CLOSESPIDER\u ERRORCOUNT，它将影响上述配置。如果达到，将调用crawler.engine.close\u