如何通过“scrapy crawl project”使用所有CPU?
我的电脑中有两个CPU如何通过“scrapy crawl project”使用所有CPU?,scrapy,Scrapy,我的电脑中有两个CPU cat /proc/cpuinfo |grep cores cpu cores : 2 1.如何知道刮擦爬网项目使用了哪个cpu? 2.如何使用scrapy crawl project中的所有CPU?scrapy将始终使用一个内核进行爬网过程。这样的爬行是网络I/O密集型过程,不需要太多CPU电源。可以使用多个处理的刮屑,但不需要一些努力 请检查在SO上回答的类似问题
cat /proc/cpuinfo |grep cores
cpu cores : 2
1.如何知道刮擦爬网项目使用了哪个cpu?2.如何使用scrapy crawl project中的所有CPU?scrapy将始终使用一个内核进行爬网过程。这样的爬行是网络I/O密集型过程,不需要太多CPU电源。可以使用多个处理的刮屑,但不需要一些努力 请检查在SO上回答的类似问题