Parallel processing 并行与分布式计算——分界线

我正在研究b/w并行系统和分布式系统的区别。有人告诉我，分工正在模糊。此外，集群可以被视为并行和分布式系统（取决于上下文——不管这意味着什么）

---

这怎么可能？集群不应该只分布在系统中吗？

如您所述，它取决于上下文。主要有两种情况：

• 集群如何在内部处理其任务（例如保持一致的集群状态）
• 应用程序如何使用集群

---

内部算法本质上是分布式的。以主选举和成员算法为例（当然，集群有相当多的任务；这并不意味着没有并行任务）。

---

另一方面，应用程序通常会并行化其工作负载以在集群上运行。集群通常提供API或Scheduler之类的组件来实现该功能。另一个例子是hadoop类型的工作负载及其API。并行性也可用于使用并行查询在多个节点上并发执行复杂查询的数据库。

这些术语并不相互排斥。并行计算是使用@user2864740的任何形式的计算。你能解释一下集群是如何两者兼而有之的吗？什么是“并行处理”的定义？“分布式计算”呢？在你看来，它们是相互排斥的条款吗？为什么，或者为什么不？为什么界线会“模糊”？保卫你的阵地。见幻灯片15。这是我要遵循的定义好，所以你有一些定义（从特定的上下文）。它们如何与维基百科上的定义保持一致？我把并行计算和分布式计算联系起来了。现在，消化一下这些定义，然后问你自己贴出的问题。你的答案是什么？捍卫它。如果你不能很好地保护它，那么就改进它，或者找到更好的信息来保护它。（我之所以这样说，是因为这个问题没有像它所写的那样精确，你可以找到一个很好的答案——只要花点时间研究和应用关键逻辑——就像任何合理的回答一样。）“内部算法本质上是分布式的”——什么是“内部算法”，为什么是分布式的？此外，并行计算（比如在2核CPU、2k“核心”GPU或20k节点超级计算机上）适合在哪里？