Apache spark 当数据的大小远远大于集群中的可用内存时，Spark如何进行内存计算

我对用于内存计算的spark的工作机制有点困惑。 如果spark在内存中进行处理，

---

当它有16 GB的内存存储时，它如何计算100 TB的数据

Spark将处理适合机器资源和计算能力的数据块。这项工作将分为几次迭代，在此期间spark将把数据加载到内存中，进行处理，并将结果写回磁盘（如果有必要），以便处理下一块数据。

检查视频可能会回答您可能遇到的许多问题。