配置单元上面临java堆空间错误

配置单元上面临java堆空间错误,java,hadoop,hive,yarn,cloudera-cdh,Java,Hadoop,Hive,Yarn,Cloudera Cdh,当尝试使用CREATETABLECLONE作为select*from t_table将数据从一个现有表复制到新表时,它的工作非常完美。另一方面,当尝试使用Insert into table_clone select column1,col2….将数据从现有表复制到另一个现有表时。。。。从t_表中,其抛出堆空间错误。在这两种情况下,源表是相同的 我尝试了不同大小的容器、映射器、reducer、mapreduce.map.java.opts-Xmx5124m等等,但每次都会抛出相同的错误 以下是一些

当尝试使用CREATETABLECLONE作为select*from t_table将数据从一个现有表复制到新表时,它的工作非常完美。另一方面,当尝试使用Insert into table_clone select column1,col2….将数据从现有表复制到另一个现有表时。。。。从t_表中,其抛出堆空间错误。在这两种情况下,源表是相同的

我尝试了不同大小的容器、映射器、reducer、mapreduce.map.java.opts-Xmx5124m等等,但每次都会抛出相同的错误

以下是一些设置:

warn.scheduler.minimum-allocation-mb:4GB

warn.scheduler.maximum-allocation-mb:6GB

容器内存(warn.nodemanager.resource.memory-mb):18 GB

mapreduce.map.memory.mb:6 GB

mapreduce.reduce.memory.mb:8 GB

mapreduce.map.java.opts:-Xmx5124m

mapreduce.reduce.java.opts:-Xmx6144m

我无法将数据从非分区表复制到另一个非分区表。尽管主要要求是从非分区表复制到分区表

在这里,我附加的纱线日志在一些文件托管网站的一部分 1. 2. 3. 4.


我们正在使用Cloudera quickstart,它将MapReduce2嵌入到设置中。

来自纱线日志的整个堆栈跟踪将比您显示的属性有趣得多。此外,您是否使用MapReduce或TEZ?该错误是一个普通的“OutOfMemory”错误还是涉及GC错误?发生在映射器、减速机或AppMaster(容器_00001)中?您所说的“容器内存”是什么意思?SamsonScharfrichter我编辑了这个问题