Hadoop没有利用可用内存

我有一个2节点集群（每个节点有32 GB RAM和8个内核）。 我已经安装了CDH 5.4。 但是我不认为hadoop正在使用可用内存，因为页面：8088/cluster/apps在“内存总量”栏中显示的只有16GB。 只有一次我能看到“内存总量”为64GB，不知道发生了什么。 原因可能是什么

谢谢，

---

Baahu

您必须配置每个节点可用于纱线的内存。此设置位于warn-site.xml中。有些属性控制节点管理器中可分配给容器分配的最大内存。看起来您使用的值是8GB（默认值）。将下面的属性设置为更高的值

yarn.nodemanager.resource.memory-mb

同样，对于核心，还有另一个属性

yarn.nodemanager.resource.cpu-vcores. 

---

在所有节点的warn-site.xml中设置这些属性后，重新启动纱线群集。这将增加nodemanager内存共享。除此之外，几乎没有更多的属性可以调整集群。有关更多详细信息，请访问此

您安装了64位还是32位操作系统？你能再确认一下吗？加油！你是对的。出于某种原因，我认为这个参数是基于每个容器的，因此没有修改它。一旦我将它设置为32GB，我可以看到它也反映在GUI中。这两种配置，如果没有配置，将分别使用默认值8gb和8 vcores，而不考虑每个节点上实际可用的内容。因此，您应该正确地配置这些设置，以充分利用集群！剩余的内存由磁盘缓存使用。我有一台4核16 GB的机器。系统监视器或top命令显示总使用内存为9.x GB<10 GB，交换使用2 GB，但3 GB可用。如果我为Cloudera Manager增加

纱线.nodemanager.resource.memory mb

即

容器内存

，则没有效果。