Python 如何查看“刮削递归刮削”中的错误消息？

我正在使用Scrapy进行递归刮片。我编写了我的spider，这样它就可以按照“下一页”按钮，在每一页中刮掉每一行。然而，我的蜘蛛只抓到了我最初期望的80%的行。我想查看所有错误消息，以便知道我的爬行器未能抓取的具体内容。我知道当爬行器运行时，Windows cmd上会显示错误，但是cmd上的行太多，我无法用肉眼看到。此外，我只允许向上滚动到某一点，这意味着不可能以这种方式查看所有错误消息。那么，有没有一种方法可以显示所有错误消息？非常感谢

有一些命令行参数可用于：

--日志文件

：覆盖日志文件

--日志级别/-L级别

：覆盖日志级别

您可以将它们与蜘蛛一起使用，包括：

scrapy crawl my_spider --logfile myspider.log

然后再查找文件中的错误