Apache spark spark.executor.memoryOverhead和spark.memory.offHeap.size之间的差异

当我在堆外搜索时，有两个相关属性（

spark.executor.memoryOverhead

和

spark.memory.offHeap.size

），我不确定这两个属性之间的关系

如果启用

spark.memory.offHeap.enabled

，则

spark.memory.offHeap.size

是否属于

spark.executor.memoryOverhead

？或者这两种类型的堆外内存是独立的（因此总的堆外内存是这两种内存的总和）

请参见我的完整答案：

---

简短回答：从当前Spark版本（2.4.5）开始，如果指定

Spark.memory.offHeap.size

，则还应将此部分添加到

Spark.executor.memoryOverhead

。例如，您将

spark.memory.offHeap.size

设置为500M，并且

spark.executor.memory=2G

，那么默认的

spark.executor.memoryOverhead

是

max（2*0.1384）=384M

，但您最好将

memoryOverhead

增加到

384M+500M=884M

，这是否回答了您的问题？