Hadoop Pig:容器正在使用oozie运行,超出CDH5中的物理内存限制

Hadoop Pig:容器正在使用oozie运行,超出CDH5中的物理内存限制,hadoop,apache-pig,oozie,Hadoop,Apache Pig,Oozie,我正在尝试运行一个简单的pig脚本,它在grunt shell中运行f9,但不与oozie一起工作,得到如下错误: 容器[pid=2617,containerID=Container_1438923434512_12103_01_000002]的运行超出了物理内存限制。当前使用情况:使用1.0 GB的1 GB物理内存;使用了2.9 GB的2.1 GB虚拟内存。杀人容器。容器_1438923434512_12103_01_000002的过程树转储 实际上,我通过oozie调用了一个shell脚本,

我正在尝试运行一个简单的pig脚本,它在grunt shell中运行f9,但不与oozie一起工作,得到如下错误:

容器[pid=2617,containerID=Container_1438923434512_12103_01_000002]的运行超出了物理内存限制。当前使用情况:使用1.0 GB的1 GB物理内存;使用了2.9 GB的2.1 GB虚拟内存。杀人容器。容器_1438923434512_12103_01_000002的过程树转储

实际上,我通过oozie调用了一个shell脚本,实习生称之为pig脚本,并得到了类似的错误


如何在oozie中使其可行看起来该集群上纱线容器大小的默认值(1GB内存)对于您的工作来说太低了

但不清楚显示的纱线错误是否与Shell操作(运行
grunt
)或子MapReduce执行有关

计划A-假设是子MapReduce执行需要更多RAM,只需在
grunt
脚本上添加

set mapreduce.map.memory.mb    5120
set mapreduce.reduce.memory.mb 5120
参考文献:

计划B-如果实际是Shell操作需要更多RAM,请在
workflow.xml

<action name="PiggyBack">
    <shell xmlns="uri:oozie:shell-action:0.2">
      <job-tracker>${jobTracker}</job-tracker>
      <name-node>${nameNode}</name-node>

      <configuration>
         <property>
            <name>oozie.launcher.mapreduce.map.memory.mb</name>
            <value>5120</value>
         </property>
      </configuration>
所以如果有帮助的话,我建议你给它一个+1