Apache spark 如何增加用户界面上显示的“内存总量”？

我在EMR EMR-5.20.0上有一个集群，一个m5.2xlarge作为节点主节点，两个m4.large作为核心，三个m4.large作为节点工作节点。此群集的内存ram之和为62GB，但在Thread UI中显示的总内存为30GB

有人能帮我理解这个值是如何计算的吗

我已经检查了warn-site.xml和spark-default.conf中的配置，它们是根据AWS建议进行配置的：

---

欢迎提供所有帮助

可以使用群集的以下参数配置纱线中的内存设置：

yarn.nodemanager.resource.memory-mb
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.increment-allocation-mb
yarn.scheduler.maximum-allocation-mb

---

调整这些参数可以增加/减少分配给集群的总内存。

纱线的可用内存/核心中不包括主节点

---

因此，您应该获得大约5 x 8GB m4.5的容量。因为操作系统和服务还有内存开销，所以您将得到更少的内存。

但是这些参数是根据AWS建议配置的。我试图修改一些值，如swean.nodemanager.resource.memory-mb，并重新启动了hadoop Thread resourcemanager，但总内存的值没有改变。我做错什么了吗？不太清楚。我有Hadoop的cloudera发行版和Spark2服务。当我更改这些参数时，与内存相关的更改会反映在Thread的资源管理器UI中。正如@michal lemay所说，您不包括主节点，只包括工作节点，因此您使用了错误的建议设置。