如何在Scrapy中忽略下载超时错误
我用的是scrapy 0.24.4如何在Scrapy中忽略下载超时错误,scrapy,Scrapy,我用的是scrapy 0.24.4 我已将下载超时设置为15秒。有些URL下载时间超过15秒，我的日志文件会记录这些错误。我在日志文件中有很多这样的异常/错误，这仅仅是因为我正在抓取大量的URL，并且很难看到真正的错误。是否有办法捕获这些特定的异常并忽略它们？您是否得到了%s并花费了%s秒以上的时间。日志中有错误，您想忽略它们吗？@alecxe-是的，我完全理解，您需要一个自定义日志观察者示例-然后让scrapy知道您想使用它，例如。但我个人并没有这么做。希望这至少能让你走上正轨。我也在想类似的
我已将下载超时设置为15秒。有些URL下载时间超过15秒，我的日志文件会记录这些错误。我在日志文件中有很多这样的异常/错误，这仅仅是因为我正在抓取大量的URL，并且很难看到真正的错误。是否有办法捕获这些特定的异常并忽略它们？您是否得到了%s并花费了%s秒以上的时间。日志中有错误，您想忽略它们吗？@alecxe-是的，我完全理解，您需要一个自定义日志观察者示例-然后让scrapy知道您想使用它，例如。但我个人并没有这么做。希望这至少能让你走上正轨。我也在想类似的事情，但我不知道从哪里开始。感谢您的帮助，非常感谢：