Fatal编程技术网
  • hive/
  • Hive 原因：java.lang.OutOfMemoryError:超出GC开销限制

Hive 原因：java.lang.OutOfMemoryError:超出GC开销限制

hive

Hive 原因：java.lang.OutOfMemoryError:超出GC开销限制,hive,heap-memory,Hive,Heap Memory,你能帮我解决GC开销错误吗 背景： 这是一个pig脚本，通过HCATALOGUE从4个配置单元表加载数据。配置单元表在序列文件中，并按日期进行分区。负载数据大小约为24TB 此脚本已成功运行16 TB 问题: 尝试从配置单元读取数据时，作业失败。未提交此map reduce的应用程序Id，甚至在提交应用程序Id之前就发生了故障。所以，在纱线中找不到原木 我尝试将warn.app.mapreduce.am.resource.mb修改为6G、mapreduce.map.memory.mb（6GB）、

你能帮我解决GC开销错误吗

背景： 这是一个pig脚本，通过HCATALOGUE从4个配置单元表加载数据。配置单元表在序列文件中，并按日期进行分区。负载数据大小约为24TB

此脚本已成功运行16 TB

问题: 尝试从配置单元读取数据时，作业失败。未提交此map reduce的应用程序Id，甚至在提交应用程序Id之前就发生了故障。所以，在纱线中找不到原木

我尝试将warn.app.mapreduce.am.resource.mb修改为6G、mapreduce.map.memory.mb（6GB）、mapreduce.map.java.opts（6GB的0.8%）、mapreduce.reduce.memory.mb（8GB）和mapreduce.reduce.java.opts。 但仍然会得到相同的错误

请问有什么帮助吗

谢谢。

有两种配置，需要更改

1.-XX:+UseConcMarkSweepGC=使GC更频繁

  • -XX:-usegcoveredlimit=停止终止容器，甚至等待更长的时间
    • 在蜂箱控制台中，只需启动此按钮，您就可以开始了

    配置单元>
    设置mapred.child.java.opts=-Xmx4G-XX:+UseConcMarkSweepGC-XX:-usegcOverdeLimit
    有两种配置，需要更改
    
1.-XX:+UseConcMarkSweepGC=使GC更频繁
    

  • -XX:-usegcoveredlimit=停止终止容器，甚至等待更长的时间
    • 
在蜂箱控制台中，只需启动此按钮，您就可以开始了
    
配置单元>
    设置mapred.child.java.opts=-Xmx4G-XX:+UseConcMarkSweepGC-XX:-usegcOverdeLimit