Hadoop如何分配内存?
请帮我理解。。。我使用的是一种非常占用内存的算法(Mahout上的LDA)。因为它需要大量内存,所以我使用了一个5节点的Hadoop cluser,每个都有24GB的RAM 但是,在运行该算法时,我得到以下错误: 容器[pid=14275,containerID=Container_1458474415429_0004_01_000012]的运行超出了虚拟内存限制。当前使用情况:使用265.0 MB的1 GB物理内存;使用2.6 GB的2.1 GB虚拟内存。杀人容器Hadoop如何分配内存?,hadoop,hadoop2,Hadoop,Hadoop2,请帮我理解。。。我使用的是一种非常占用内存的算法(Mahout上的LDA)。因为它需要大量内存,所以我使用了一个5节点的Hadoop cluser,每个都有24GB的RAM 但是,在运行该算法时,我得到以下错误: 容器[pid=14275,containerID=Container_1458474415429_0004_01_000012]的运行超出了虚拟内存限制。当前使用情况:使用265.0 MB的1 GB物理内存;使用2.6 GB的2.1 GB虚拟内存。杀人容器 帮我理解这个。。。Hadoo
帮我理解这个。。。Hadoop如何分配内存?我应该如何设置环境以使用尽可能多的可用内存?我相信Hadoop会将任务分解成更小的任务,因此每个任务都会占用更少的内存。不过,现在看来这很幼稚。请检查:谢谢。我应该在哪里更改此设置?在namenode上的mapred-site.xml中,还是在整个集群中?