Parallel processing 为什么MPP系统需要特殊的硬件？

为什么像Amazon Redshift这样的MPP系统需要专门的硬件。为什么他们不能使用现成的硬件？而map reduce系统自然在商品硬件上工作。

大规模并行系统不一定需要特殊硬件。包括作为MPP类型的网格计算，网格计算是关于在随机的现成系统（BOINC，Folding@Home（等）

您特别提到了框架的想法。谷歌最初的实现（以及随后的实现）是专门为在商品硬件上运行良好而设计的。MapReduce在其约束范围内工作，例如节点故障、节点之间的通信受限等等。重要的是，可以在MapReduce上运行的作业类型受到严格限制。你有一个map步骤，你有一个reduce步骤；这两个步骤都不涉及节点之间的通信。你不能让所有的工人互相闲聊

然而，MPP的其他版本有基本硬件以外的要求。例如，具有大量内核的专用IC，其排列方式使得内核可以与其他内核进行高速、低延迟互连

你不能在一台标准的计算机上做这件事；每个芯片的内核数要低得多，而且内核之间的通信方式也不同（通常使用大量共享内存）