Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/sockets/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop如何分配内存?_Hadoop_Hadoop2 - Fatal编程技术网

Hadoop如何分配内存?

Hadoop如何分配内存?,hadoop,hadoop2,Hadoop,Hadoop2,请帮我理解。。。我使用的是一种非常占用内存的算法(Mahout上的LDA)。因为它需要大量内存,所以我使用了一个5节点的Hadoop cluser,每个都有24GB的RAM 但是,在运行该算法时,我得到以下错误: 容器[pid=14275,containerID=Container_1458474415429_0004_01_000012]的运行超出了虚拟内存限制。当前使用情况:使用265.0 MB的1 GB物理内存;使用2.6 GB的2.1 GB虚拟内存。杀人容器 帮我理解这个。。。Hadoo

请帮我理解。。。我使用的是一种非常占用内存的算法(Mahout上的LDA)。因为它需要大量内存,所以我使用了一个5节点的Hadoop cluser,每个都有24GB的RAM

但是,在运行该算法时,我得到以下错误: 容器[pid=14275,containerID=Container_1458474415429_0004_01_000012]的运行超出了虚拟内存限制。当前使用情况:使用265.0 MB的1 GB物理内存;使用2.6 GB的2.1 GB虚拟内存。杀人容器


帮我理解这个。。。Hadoop如何分配内存?我应该如何设置环境以使用尽可能多的可用内存?我相信Hadoop会将任务分解成更小的任务,因此每个任务都会占用更少的内存。不过,现在看来这很幼稚。

请检查:谢谢。我应该在哪里更改此设置?在namenode上的mapred-site.xml中,还是在整个集群中?