Scrapy 阻止不需要的项目被打印到屏幕上的方法_Scrapy

Scrapy 阻止不需要的项目被打印到屏幕上的方法

scrapy

Scrapy 阻止不需要的项目被打印到屏幕上的方法,scrapy,Scrapy,当您从Python Shell或命令行运行Scrapy程序时，您会在屏幕上打印以下项目： c:\Python27\webscraper2\webscraper2>scrapy crawl mrcrawl2 2014-08-28 00:12:21+0100 [scrapy] INFO: Scrapy 0.24.4 started (bot: webscraper2) 2014-08-28 00:12:21+0100 [scrapy] INFO: Optional features avail

当您从Python Shell或命令行运行Scrapy程序时，您会在屏幕上打印以下项目：

c:\Python27\webscraper2\webscraper2>scrapy crawl mrcrawl2
2014-08-28 00:12:21+0100 [scrapy] INFO: Scrapy 0.24.4 started (bot: webscraper2)
2014-08-28 00:12:21+0100 [scrapy] INFO: Optional features available: ssl, http11
2014-08-28 00:12:21+0100 [scrapy] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'webscraper2.spiders', 'SPIDER_MODULES': ['webscraper2.spiders'], 'BOT_NAME': 'webscraper2'}
2014-08-28 00:12:21+0100 [scrapy] INFO: Enabled extensions: LogStats, TelnetConsole, CloseSpider, WebService, CoreStats, SpiderState
2014-08-28 00:12:21+0100 [scrapy] INFO: Enabled downloader middlewares: HttpAuthMiddleware, DownloadTimeoutMiddleware, UserAgentMiddleware, RetryMiddleware, DefaultHeadersMiddleware, MetaRefreshMiddle
ware, HttpCompressionMiddleware, RedirectMiddleware, CookiesMiddleware, ChunkedTransferMiddleware, DownloaderStats
2014-08-28 00:12:21+0100 [scrapy] INFO: Enabled spider middlewares: HttpErrorMiddleware, OffsiteMiddleware, RefererMiddleware, UrlLengthMiddleware, DepthMiddleware
2014-08-28 00:12:21+0100 [scrapy] INFO: Enabled item pipelines:
2014-08-28 00:12:21+0100 [mrcrawl2] INFO: Spider opened
2014-08-28 00:12:21+0100 [mrcrawl2] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2014-08-28 00:12:21+0100 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023
2014-08-28 00:12:21+0100 [scrapy] DEBUG: Web service listening on 127.0.0.1:6080
2014-08-28 00:12:21+0100 [mrcrawl2] DEBUG: Crawled (200) <GET http://www.whoscored.com> (referer: None)

c:\Python27\webscraper2\webscraper2>scrapy-crawl2
2014-08-28 00:12:21+0100[scrapy]信息：scrapy 0.24.4已启动（机器人程序：webscraper2）
2014-08-28 00:12:21+0100[scrapy]信息：可选功能可用：ssl、http11
2014-08-28 00:12:21+0100[scrapy]信息：覆盖的设置：{'NEWSPIDER_模块'：'webscraper2.SPIDER'，'SPIDER_模块'：['webscraper2.SPIDER']，'BOT_NAME'：'webscraper2'}
2014-08-28 00:12:21+0100[scrapy]信息：启用的扩展：LogStats、TelnetConsole、CloseSpider、WebService、CoreStats、SpiderState
2014-08-28 00:12:21+0100[scrapy]信息：启用的下载中间件：HttpAuthMiddleware、DownloadTimeoutMiddleware、UserAgentMiddleware、RetryMiddleware、DefaultHeadersMiddleware、MetaRefreshMiddle
软件，HttpCompressionMiddleware，重定向中间件，Cookies中间件，ChunkedTransferMiddleware，DownloaderStats
2014-08-28 00:12:21+0100[scrapy]信息：启用的spider中间件：HttpErrorMiddleware、OffsiteMiddleware、referermidleware、urlengthmiddleware、DepthMiddleware
2014-08-28 00:12:21+0100[scrapy]信息：启用的项目管道：
2014-08-28 00:12:21+0100[MR2]信息：蜘蛛网已打开
2014-08-28 00:12:21+0100[mrcrawl2]信息：抓取0页（0页/分钟），抓取0项（0项/分钟）
2014-08-28 00:12:21+0100[scrapy]调试：Telnet控制台监听127.0.0.1:6023
2014-08-28 00:12:21+0100[scrapy]调试：在127.0.0.1:6080上侦听Web服务
2014-08-28 00:12:21+0100[mrcrawl2]调试：爬网（200）（参考：无）

有没有办法禁用打印到屏幕上但未从网页上刮取的内容？理想情况下，如果响应不在200-300范围内，我只希望“DEBUG:Crawled”行打印到屏幕上

我试着在谷歌上寻找答案，但我不确定该搜索什么

谢谢

使用

-L WARNING

选项将日志级别设置为

WARNING

：

scrapy crawl mrcrawl2 -L WARNING

只有出现问题时，它才会打印消息。

使用

-L WARNING

选项将日志级别设置为

WARNING

：

scrapy crawl mrcrawl2 -L WARNING

只有出现问题时，它才会打印消息。

您能帮我找到src代码中的

-L警告吗？。。。我在crawl命令下找不到它https://github.com/scrapy/scrapy/tree/master/scrapy/commands
@B.Mr.W。请看：@kev这个-L选项太棒了。否则输出太多。另一个问题，我只想停止打印“已生成”的项目。所以我想看到所有的东西，除了正在发生的事情。因为这些项目通常很大，占用了控制台太多的空间。你能帮我找到src代码中的-L警告吗？。。。我在crawl命令下找不到它https://github.com/scrapy/scrapy/tree/master/scrapy/commands
@B.Mr.W。请看：@kev这个-L选项太棒了。否则输出太多。另一个问题，我只想停止打印“已生成”的项目。所以我想看到所有的东西，除了正在发生的事情。因为这些项目通常都很大，占用了控制台太多的空间。