与Hadoop相比，Python的多处理模块的性能如何？

从本质上讲，根据您的经验，如果面临“大数据”问题，与Hadoop之类的东西相比，使用Python的多处理模块能走多远

我这样问是因为除了精通Python/SQL之外，我还是“编程新手”。因此，Hadoop目前对我来说是非常难以理解的，所以我希望能够使用多处理模块来解决我遇到的许多大数据问题，至少在我了解Hadoop之前

为清晰起见，请编辑：如果我有一台4核计算机，那么在4个节点上使用Hadoop与多处理模块相比有什么优势吗

---

谢谢

您的数据有多大？你在做多少计算？Hadoop只在需要多台计算机时才真正有用，如果你只想在同一台计算机上使用多个内核，它就没那么有用了。例如，如果我有一台4核计算机，在4个节点上使用Hadoop与多处理模块相比是否有优势？没有，除了用java和python编写应用程序可能带来的好处之外。谢谢。那么，可以说Hadoop只在您的问题需要的内核数量超过您的计算机拥有的内核数量时才成为必要的吗？Hadoop不适用于多核计算。它用于数据并行处理，即通过磁盘而不是CPU进行分发。