Java 就性能而言，对于一个典型的令人尴尬的并行场景，使用Hadoop而不是MPI更好吗？

我对两者都不熟悉，但我想知道什么时候使用一个比另一个更好

我知道Hadoop只适用于令人尴尬的并行任务（MPI几乎适用于任何其他任务），但我不得不注意到，使用MPI开发大规模并行程序对于

MPI\u Bcast

和

MPI\u Allreduce

函数来说几乎是微不足道的

---

那么，有人能告诉我更多关于每种（Hadoop和MPI）的最佳使用场景吗？是否有任何时候（性能方面）我应该考虑其中一个而不是另一个呢？

MPI和Hadoop是为不同的目的而设计的。MPI是一种相对简单的通信中间件，适用于紧密耦合的稳定静态系统，例如超级计算机或专用计算集群。它试图在消息传递上非常轻巧和快速，并提供了一些处理数据数组的选项。尽管它支持异构环境，但它不支持故障切换或容错-如果一个进程死亡或某个计算节点出现故障，这通常会导致整个MPI作业的失败。

可能不是您想要的答案-但我几乎肯定会考虑可以在合理的时间内实现的选项，我熟悉的技术，它有很好的支持（其他开发人员可以扩展该技术或回答您可能有的任何问题）-最好的luckI同意@alihaider。例如，如果你想开发某种科学应用程序，你一定要坚持使用MPI，因为几乎所有拥有大规模并行应用程序的研究小组都会使用MPI。

MPI\u all*

和“大规模并行程序”不能很好地结合在一起，尤其是对于“大规模”的大值：