Apache spark spark中的驱动器内存和执行器内存是什么？

我是spark框架的新手，我想知道什么是驱动程序内存和执行程序内存？从两者中获得最大性能的有效方法是什么？

Spark需要一个驱动程序来处理执行者。因此，最好的理解方式是：

驱动程序

负责处理代码的主要逻辑、使用纱线获取资源、处理分配以及处理某些类型逻辑的少量数据的人。驱动程序内存与您将检索多少数据到主机以处理某些逻辑有关。如果使用

rdd.collect（）

检索太多数据，则驱动程序将耗尽内存。驱动程序的内存通常很小，如果不向其发送太多数据，2Gb到4Gb的内存就足够了

工人

这里是魔术发生的地方，工人将负责执行你的工作。内存的大小取决于你要做什么。如果您只需要执行

map

函数，在该函数中您只需要转换数据，而不需要任何类型的聚合，那么通常不需要太多内存。但是，如果要运行大型聚合、大量步骤等，通常会使用大量内存。它与您将要读取的文件的大小有关

---

告诉你每种情况下的适当记忆量取决于你的工作方式。您需要了解每个功能和监视器的影响，以调整每个作业的内存使用情况。可能每个工作人员需要2Gb，但有时每个工作人员需要8Gb。

我想您可能会对此感兴趣：