Java 在分布式系统中运行后台作业

是否有任何库/框架可以在同一集群内不同实例中运行的同一作业之间拆分数据集？如果相同的库/框架也提供监控功能，那就更好了。

MPI呢？嗯，我不确定。我正在寻找一种能从工作中承担全部责任的东西。类似于业务流程层，它可以轻松地为每个作业配置，并有助于在不同实例中运行的同一作业之间拆分工作。如果您使用MPI和群集管理器，它几乎可以满足您的需要。也就是说，拆分作业是特定于应用程序的，因为最终必须合并来自不同实例的结果。另一种可能的方法是使用无sql数据库和关联的map reduce库。为了获得更好的答案，您需要提供更多详细信息。请参阅