Apache spark 为什么spark需要比预期更多的内存

这是我的spark配置

spark.executor.instances 100 
spark.executor.memory 7g
spark.executor.cores 4
spark.driver.memory 7g
spark.memory.useLegacyMode true
spark.storage.memoryFraction 0.2

我丢失了所有洗牌写入超过3GB的执行器

但是我认为每个执行器的可用内存是1*（1-0.2）+overdememory=7G。

---

因此，Spark使用另一个4G内存做其他辅助工作。spark用这么多的内存做了什么

您可以添加更多有关资源使用的详细信息吗？@z-star您可以建议其他哪些变量有用，我可以在哪里获取它们，谢谢您可以添加更多有关资源使用的详细信息吗？@z-star您可以建议其他哪些变量有用，我可以在哪里获取它们，谢谢