同时运行的最大Python脚本数

我编写了一个脚本来研究HTTP归档数据。此脚本需要向HTTP存档所刮取的站点发出HTTP请求，以便将站点划分为组（例如，Drupal、WordPress等）。剧本写得很好；然而，我正在处理的站点列表有300000个站点

我希望能够尽快完成网站的分类。我已经尝试过同时运行脚本的多个实例，并且它在适当的位置使用适当的锁以防止争用情况下运行良好

我如何最大限度地利用这一点，以尽快完成所有这些操作？例如，我正在考虑使用8个CPU和16 GB RAM来加速VPS。如何最大限度地利用这些资源，以确保尽可能地利用每一点处理能力？我可能会考虑把一些更强大的东西，但我想确保我明白如何最大限度地利用它，所以我不会浪费钱。

---

谢谢

多处理模块是利用8个CPU的最大功率的最佳选择：

---

您的ops是cpu绑定还是io绑定？我猜io绑定比cpu绑定更多；尽管如此，网络可能会成为真正的瓶颈。