java并行处理框架

我不熟悉这个话题。我决定为我的项目开发一个java云数据处理应用程序的并行处理框架。该框架必须划分给定的顺序java代码和进程，这些代码和进程在云中的不同虚拟机中进行子编码。框架必须根据负载动态分配和释放资源。我的问题是如何开发框架

---

是否有任何库可用于将java代码调度到云中的不同虚拟机中？如果有任何可用的解决方案，请通知我。

有一些解决方案，如Hadoop等。您可以查看此项目。

请查看一个框架，该框架允许基本相同的事情，并支持在集群上自动部署代码。

是优秀的解决方案。yerlikayaoglu（Hadoop和hazelcast）引用的那些在他们的领域中也很优秀，但它们都有很大的不同，并且取决于用例。这就是映射/减少问题

---

另一个是虚拟机的分配/解除分配。这取决于你的云提供商和其他一些东西。如果要进行实时处理，可以查看。

---

还为scala和java提供了很好的远程参与者API。

有趣的是，我也一直在尝试构建一个。我已经有了一个使用简单的shell脚本和python（fabric）编写的并行处理框架。我不确定这是否有帮助。Hadoop或storm更多的是实时/批处理数据的分布式处理和聚合。我特别寻找基于Java的并行处理框架，因为Java中还有一些附加的依赖项。至少，我正在寻找Java模块来帮助我构建一个真正令人尴尬的并行处理体系结构。