如何通过“scrapy crawl project”使用所有CPU?

如何通过“scrapy crawl project”使用所有CPU?,scrapy,Scrapy,我的电脑中有两个CPU cat /proc/cpuinfo |grep cores cpu cores : 2 1.如何知道刮擦爬网项目使用了哪个cpu? 2.如何使用scrapy crawl project中的所有CPU?scrapy将始终使用一个内核进行爬网过程。这样的爬行是网络I/O密集型过程,不需要太多CPU电源。可以使用多个处理的刮屑,但不需要一些努力 请检查在SO上回答的类似问题

我的电脑中有两个CPU

cat /proc/cpuinfo |grep cores
cpu cores   : 2
1.如何知道刮擦爬网项目使用了哪个cpu?

2.如何使用scrapy crawl project中的所有CPU?

scrapy将始终使用一个内核进行爬网过程。这样的爬行是网络I/O密集型过程,不需要太多CPU电源。可以使用多个处理的刮屑,但不需要一些努力

请检查在SO上回答的类似问题