mapreduce与其他并行处理解决方案

因此，问题是： 1.对于以下问题，mapreduce开销是否过高？有没有人知道一个非常轻的工作（例如在迪斯科舞厅）每个贴图/还原周期需要多长时间？ 2.对于此问题，是否有更好的mapreduce替代方案

就地图缩减而言，我的程序包括60个地图阶段和60个缩减阶段，所有这些阶段都需要在1秒内完成。我需要用这种方法解决的一个问题是用大约64000个变量进行最小搜索。用于搜索的hessian矩阵是一个块矩阵，沿对角线有1000个大小为64x64的块，在最右侧和最底部有一行块。：的最后一部分显示了如何执行此操作。可以在一个mapreduce步骤中计算每个Schur补码S_A和S_D。逆运算又需要一步

从我目前的研究来看，mpi4py似乎是个不错的选择。每个进程都可以执行一个计算步骤，并在每个步骤后向客户机报告，客户机可以使用新的状态变量进行报告，以便循环继续。通过这种方式，进程状态不会丢失，任何更新都可以继续计算。

本维基提供了一些建议，但是否有人对最先进的解决方案有指导意见：

---

谢谢

MPI是一种通信协议，允许通过在集群节点之间传递消息来实现并行处理。用MPI实现的并行处理模型取决于程序员

我还没有任何使用MapReduce的经验，但在我看来，它是一种特定的并行处理模型，并且设计得易于实现。这种抽象应该可以节省您的编程时间，并且可能会也可能不会为您的问题提供合适的解决方案。这完全取决于你想做的事情的性质

并行处理的诀窍在于，最合适的解决方案通常是针对具体问题的，如果不了解问题的更多细节，就很难提出建议

---

如果您能告诉我们更多关于您运行作业的环境以及您的程序所处的位置，我可能会提供一些更有用的建议。

MPI是一种通信协议，允许通过在群集节点之间传递消息来实现并行处理。用MPI实现的并行处理模型取决于程序员

我还没有任何使用MapReduce的经验，但在我看来，它是一种特定的并行处理模型，并且设计得易于实现。这种抽象应该可以节省您的编程时间，并且可能会也可能不会为您的问题提供合适的解决方案。这完全取决于你想做的事情的性质

并行处理的诀窍在于，最合适的解决方案通常是针对具体问题的，如果不了解问题的更多细节，就很难提出建议

---

如果您能告诉我们更多关于您正在运行作业的环境以及您的程序所处的位置，我可能会提供一些更有用的建议。

map reduce和MPI是两种根本不同的方法，不是吗？哪一个更适合这个问题？是的，它们是不同的，问题是在这个任务中，一个是否明显优于另一个。另外，对于这个特殊问题，最成熟的替代方案是什么？map reduce和MPI是根本不同的方法，不是吗？哪一个更适合这个问题？是的，它们是不同的，问题是在这个任务中，一个是否明显优于另一个。另外，对于这个特殊问题，最成熟的替代方案是什么？SIMD。然而，为了更准确的描述，请看我修订的问题陈述。它是SIMD。然而，为了更准确的描述，请看我修改后的问题陈述。