Language agnostic 是否可以使用面向消息的中间件代替MPI来协调分布式计算?

Language agnostic 是否可以使用面向消息的中间件代替MPI来协调分布式计算?,language-agnostic,message-queue,parallel-processing,amqp,Language Agnostic,Message Queue,Parallel Processing,Amqp,通过面向消息的中间件,我指的是诸如 显然,AMQP与MPI不同,但我认为以主从方式运行的分布式内存计算可以使用AMQP轻松实现,让AMQP在从机完成工件时公平地分配工作,而不是在主机中显式管理工作队列 AMQP的额外好处(如果您有数千台机器一起工作)是,单个机器的死亡不会在MPI\u Bcasts停止计算,因为AMQP可以简单地使用扇出而不是MPI\u Bcast,这将不会阻碍整个计算的进度 有没有AMQP用于分布式计算中的任务协调的例子 更新:为容错分布式计算提供了一种非常好的方法。我认为区分

通过面向消息的中间件,我指的是诸如

显然,AMQP与MPI不同,但我认为以主从方式运行的分布式内存计算可以使用AMQP轻松实现,让AMQP在从机完成工件时公平地分配工作,而不是在主机中显式管理工作队列

AMQP的额外好处(如果您有数千台机器一起工作)是,单个机器的死亡不会在
MPI\u Bcast
s停止计算,因为AMQP可以简单地使用扇出而不是
MPI\u Bcast
,这将不会阻碍整个计算的进度

有没有AMQP用于分布式计算中的任务协调的例子


更新:为容错分布式计算提供了一种非常好的方法。

我认为区分分布式计算和并行计算很有帮助。我认为并行计算是分布式计算的一个子类。在分布式计算中,许多处理器被用来处理一个问题,这个问题可能被分解成各种任务(例如,举一个非常简单的例子,客户机-服务器),处理器可能运行各种代码

然而,在并行计算中,每个处理器可能运行相同的代码,但要处理的数据部分不同

现在,在分布式计算结束和并行计算开始的地方,没有一条硬性的、快速的路线,但是如果你看看频谱的两端,就会发现一些典型的例子,它们具有非常不同的特征。我认为谷歌可能展示了分布式计算的典型例子,而大型超级计算机中心运行的各种科学模拟提供了并行计算的典型例子

以上所述只是我回答你问题的背景:

是的,您当然可以使用AMQP来处理并行计算,是的,您可以使用MPI来实现分布式计算,但我认为您将在与协议的功能作斗争,这些功能是为频谱的另一端设计的


不,我不知道有谁使用AMQP来做我所说的并行计算。

我一直认为并行计算是共享内存和分布式内存并行计算的超类。我已经编辑了这个问题。