Hadoop Pig:容器正在使用oozie运行,超出CDH5中的物理内存限制
我正在尝试运行一个简单的pig脚本,它在grunt shell中运行f9,但不与oozie一起工作,得到如下错误: 容器[pid=2617,containerID=Container_1438923434512_12103_01_000002]的运行超出了物理内存限制。当前使用情况:使用1.0 GB的1 GB物理内存;使用了2.9 GB的2.1 GB虚拟内存。杀人容器。容器_1438923434512_12103_01_000002的过程树转储 实际上,我通过oozie调用了一个shell脚本,实习生称之为pig脚本,并得到了类似的错误Hadoop Pig:容器正在使用oozie运行,超出CDH5中的物理内存限制,hadoop,apache-pig,oozie,Hadoop,Apache Pig,Oozie,我正在尝试运行一个简单的pig脚本,它在grunt shell中运行f9,但不与oozie一起工作,得到如下错误: 容器[pid=2617,containerID=Container_1438923434512_12103_01_000002]的运行超出了物理内存限制。当前使用情况:使用1.0 GB的1 GB物理内存;使用了2.9 GB的2.1 GB虚拟内存。杀人容器。容器_1438923434512_12103_01_000002的过程树转储 实际上,我通过oozie调用了一个shell脚本,
如何在oozie中使其可行看起来该集群上纱线容器大小的默认值(1GB内存)对于您的工作来说太低了 但不清楚显示的纱线错误是否与Shell操作(运行
grunt
)或子MapReduce执行有关
计划A-假设是子MapReduce执行需要更多RAM,只需在grunt
脚本上添加
set mapreduce.map.memory.mb 5120
set mapreduce.reduce.memory.mb 5120
参考文献:
计划B-如果实际是Shell操作需要更多RAM,请在workflow.xml
<action name="PiggyBack">
<shell xmlns="uri:oozie:shell-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>oozie.launcher.mapreduce.map.memory.mb</name>
<value>5120</value>
</property>
</configuration>
所以如果有帮助的话,我建议你给它一个+1