如何使用所有的CPU内核来实现Scrapy

我的scrapy程序只使用一个CPU核，不管并发请求如何。是否scrapy中的某些方法可以在一个scrapy爬虫中使用所有cpu核心

---

ps：在早期版本中，它似乎有要使用的参数

max_proc

，但我现在找不到它。

Scrapy不使用多个CPU

这是故意的。通常，Scrapy的瓶颈不是CPU，而是网络输入/输出。因此，即使使用单个CPU，Scrapy也比同步框架或库（例如请求）与

多处理

结合使用更高效

如果CPU是你的瓶颈，你应该考虑有一个单独的、多处理的进程来处理CPU重的部分。

---

如果仍要在多个进程中运行Scrapy Spider，请参阅。您可以将其与Python的模块相结合。或者，更好的是，使用或其中一个。

似乎目前在Scrapy Service（scrapyd）中存在max_proc:…Scrapy的最新版本是1.4，我现在可以使用此功能吗？我相信您可以通过scrapyd使用它。我不知道你能否通过ScrapingHub使用它。但你可以考虑这一点：