Cluster computing 小型科学计算集群的最佳软件栈是什么

我在一个研究小组工作，从事大量的机器学习和计算生物学

我们目前有一个集群，但维护不善，I/O吞吐量低，最关键的是没有任何调度或负载平衡设置。因此，要使用它，您必须自己找到一个空闲节点，用ssh连接到该节点，在命令行上运行脚本，并手动收集结果

---

实现易于使用的调度程序和负载平衡器的最佳软件堆栈是什么？这样，用户可以将作业提交到中心队列，在资源可用时自动运行作业，并轻松返回结果？

有许多开源且经过深思熟虑的调度程序/资源管理器选项：

• /，古老的PBS的后代，现在由自适应计算维护
• ，这是LLNL的一个较新项目，它的优点是可扩展性非常好
• ，née太阳栅格引擎

但也有一些完整的软件堆栈旨在使集群管理更容易：

• ，不含LBL

---

我正在为其他有建议的人制作一个社区wiki。

如果你在多伦多的一所大学，你最好与当地的HPC联盟坐下来，获得针对特定工作流程的详细建议；在UofT，在约克大学和UOIT大学都有办公室，在瑞尔森大学，你可以去参观他们中的任何一所，但这些都是“在”每一所学校的办公室。