Hadoop和HiveO

尝试在配置单元上运行查询时，出现以下错误：

 FATAL [IPC Server handler 14 on 59490] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Task: attempt_1457495991188_0166_m_000000_3 - exited : Java heap space

查询是：（变量$XXX在执行前被替换）

---

我在/usr/local/hive/conf/hive env.sh中添加了导出HADOOP\u HEAPSIZE=4096，但它没有改变任何东西。。。。服务器上还有大量可用RAM。

为了避免此类错误，您需要在mapred-site.xml文件中更新以下与mapreduce堆大小相关的属性

<property>
            <name>mapreduce.map.memory.mb</name>
             <value>2048</value>
</property>
<property>
            <name>mapreduce.map.java.opts</name>
            <value>-Xmx2048M</value>
</property>
<property>
            <name>mapreduce.reduce.memory.mb</name>
            <value>2048</value>
</property>
<property>
           <name>mapreduce.reduce.java.opts</name>
           <value>-Xmx2048M</value>
</property>

mapreduce.map.memory.mb
2048
mapreduce.map.java.opts
-Xmx2048M
mapreduce.reduce.memory.mb
2048
mapreduce.reduce.java.opts
-Xmx2048M

---

试试看，应该会有帮助。

为了避免这种错误，您需要在mapred-site.xml文件中更新以下与mapreduce堆大小相关的属性

<property>
            <name>mapreduce.map.memory.mb</name>
             <value>2048</value>
</property>
<property>
            <name>mapreduce.map.java.opts</name>
            <value>-Xmx2048M</value>
</property>
<property>
            <name>mapreduce.reduce.memory.mb</name>
            <value>2048</value>
</property>
<property>
           <name>mapreduce.reduce.java.opts</name>
           <value>-Xmx2048M</value>
</property>

mapreduce.map.memory.mb
2048
mapreduce.map.java.opts
-Xmx2048M
mapreduce.reduce.memory.mb
2048
mapreduce.reduce.java.opts
-Xmx2048M

---

试试看，应该会有帮助。

谢谢，是针对每个节点还是仅针对蜂巢节点？我试过了，但现在发现了这种错误：

org.apache.hadoop.mapreduce.v2.app.job.impl.taskattempumpimpl:trument_1457495991188_0222_m_000003_0:Container[pid=10139，containerID=Container_1457495991188_0222_01_000007]正在超出虚拟内存限制运行。当前使用：使用262.2MB的1.5GB物理内存；使用了3.7 GB的3.1 GB虚拟内存。正在杀死容器。

谢谢，是针对每个节点还是仅针对蜂巢节点？我尝试过，但现在遇到了此类错误：

org.apache.hadoop.mapreduce.v2.app.job.impl.taskattempumpl:trument的诊断报告\u 1457495991188\u 0222\m\u000003\u 0:container[pid=10139，containerID=container\u 1457495991188\u 0222\u01\u000007]正在超出虚拟内存限制运行。当前使用：使用262.2MB的1.5GB物理内存；使用了3.7 GB的3.1 GB虚拟内存。压井容器。