CrawlerProcess和scrapy在scrapy命令行中爬行的区别?

CrawlerProcess和scrapy在scrapy命令行中爬行的区别?,scrapy,Scrapy,案例1:scrapy crawl somespider多次键入(同时,使用nohup背景) 案例2:使用CrawlerProcess并在python脚本中配置multispider并运行 什么是不同的情况?我已经用5个爬行器尝试了case2,但速度不是很快。scrapy crawl为每个爬行器使用一个进程,而CrawlerProcess在一个进程上使用一个扭曲的反应器(同时也在引擎罩下做一些我不太确定的事情)一次运行多个爬行器 因此,基本上: scrapy crawl->多个进程 Crawler

案例1:
scrapy crawl somespider
多次键入(同时,使用nohup背景)

案例2:使用CrawlerProcess并在python脚本中配置multispider并运行


什么是不同的情况?我已经用5个爬行器尝试了case2,但速度不是很快。

scrapy crawl
为每个爬行器使用一个进程,而
CrawlerProcess
在一个进程上使用一个扭曲的反应器(同时也在引擎罩下做一些我不太确定的事情)一次运行多个爬行器

因此,基本上:

  • scrapy crawl
    ->多个进程
  • CrawlerProcess
    ->使用扭曲反应器仅运行一个进程