MPI壁垒的复杂性

MPI屏障的时间复杂度是多少？它们是否可扩展为大量的内核（>>10k）？

屏障复杂性与实现高度相关。它可以是线性的，也可以是对数的，或者更好或者更差。一些体系结构为某些集体操作提供专用网络，例如，IBM的Blue Gene有一个专门的全局中断网络，该网络允许以几乎恒定的复杂性实现非常快速的

MPI\u屏障

，但仅当通过

MPI\u COMM\u WORLD

执行时，而Hristo Iliev是正确的，您可以假设在这些规模上使用的任何合理MPI实现在集合操作上都具有对数复杂性。是的，这可以扩展>>10k的内核。在不同的现代实现之间仍然可能存在一个戏剧性的因素。同样，在这种规模下，操作系统噪声会对集体操作产生非常显著的影响（参见[2]）。

复杂性不应该比O（logn）差，因为可以在一个单词上实现一个屏障作为一个all reduce，而所有reduce的规模都是O（logn）。

而且，为了解决OP的第二个问题，超级计算机文献已经很满了（可能有点夸张）关于MPI程序在>>10k内核上运行的报告，如果没有一个使用屏障，我会感到惊讶。