Hadoop 使单个进程分布在集群中的最佳方法

我对群集计算非常陌生，我想了解更多有关用于群集计算的各种软件的信息，以及哪些软件最适合于特定任务。特别是，我试图解决的问题涉及一个经理/工人类型的场景，其中一个经理负责创建100到1000个工作岗位。每个作业虽然相对较大，但必须在一帧一帧的基础上执行。也就是说，经理会告诉每项工作，“提前一帧，然后向我汇报”。单个帧的执行将非常小，因此管理器和工作机器之间的延迟必须非常小，大约为微秒

---

谢谢大家!！任何信息都将不胜感激，即使是不完全符合我描述的场景的信息，也只是给我一个起点。我目前研究的一些是Hadoop、HTCONDOR和Akka.

< P>因为通信延迟对你很重要，你应该考虑使用。使用MPI编写简单的主/辅程序并不太困难，而且它可能会为您提供最佳性能，特别是如果您的集群具有高性能网络，例如infiniband

---

如果您使用的是Java，那么您必须进行一些研究，以确定一个好的Java/MPI包。您可以在这里找到一些建议：。

我不知道其他的，但是，Hadoop听起来不太适合，因为它用于离线批量处理大数据。听起来和你描述的不太一样。你是对的；对不起，当我问这个问题时，我在研究过程的早期。使用的候选程序是JPPF、艾加、推特风暴、开放MPI和开放DDS。实际上，我们使用C++，只是在C++中没有发现很多。OpenMPI似乎很棒，你知道OpenDDS的比较结果是什么吗？@jekelija我不能说我对OpenDDS了解多少，但它似乎更倾向于企业计算，而不是集群计算。它可能值得考虑，但从你的描述来看，它可能比你需要的更重。