Apache spark Spark和InfiniBand

我试图在一个以HPC为中心的集群中使用Spark，该集群具有infiniband互连。此群集不支持

IPoIB

。我在年看到了俄亥俄州立大学的Spakr RDMA项目。我找不到其他人在做这方面的工作，或者apachespark将来是否会支持IB。问题是，在仅使用IB作为网络的HPC环境中，是否有其他解决方案可以获得更高版本的spark？

您可以查看《通过以太网部署RDMA（RoCE）以通过Mellanox 100 GbE网络加速Apache spark 2.2.0的参考指南》

spark使用IPoIB缺少什么？抱歉，我更新了这个问题。我的意思是集群不支持ipoib。如果IPoIB在那里，我就不会有任何问题了。我明白了。无论如何，我不知道还有其他尝试将Spark与RDMA结合使用。由于Spark（在其实现中）与共享内存系统相反，我认为将其与共享内存系统结合使用没有什么意义。另一方面，也有供应商将Spark推到大型机上。如果你能说服一个供应商，Spark的API是他们HPC平台的卖点，那么这可能就是你的门票。我仍然相信，您必须非常彻底地重新实现许多基础知识，同时跟上Spark惊人的API开发速度——这是一个重大挑战，可能也是支持此功能的尝试最终被停止的原因。