Fatal编程技术网
  • java/
  • 未处理的内部错误。在pig中使用EXPLAIN时的Java堆空间

未处理的内部错误。在pig中使用EXPLAIN时的Java堆空间

java apache-pig

未处理的内部错误。在pig中使用EXPLAIN时的Java堆空间,java,heap,apache-pig,Java,Heap,Apache Pig,当我尝试使用以下语句时 explain -brief A; 我犯了以下错误 2013-02-06 19:18:34,250 [Low Memory Detector] INFO org.apache.pig.impl.util.SpillableMemoryManager - first memory handler call - Collection threshold init = 526123008(513792K) used = 349984528(341781K) commi

当我尝试使用以下语句时

explain -brief A;
我犯了以下错误

2013-02-06 19:18:34,250 [Low Memory Detector] INFO     org.apache.pig.impl.util.SpillableMemoryManager - first memory handler call - Collection threshold init = 526123008(513792K) used = 349984528(341781K) committed = 699072512(682688K) max = 699072512(682688K)
2013-02-06 19:18:34,942 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2998: Unhandled internal error. Java heap space
我试图通过添加选项来增加堆空间大小

-Dmapred.child.java.opts=-Xmx4096m
但它不起作用。有什么想法吗

谢谢。 丹

  • 使用以下命令增加清管器堆空间

    export PIG\u HEAPSIZE=4096

    • 尽管如此，如果您在虚拟机中运行清管器，请确保已为虚拟机分配了超过4GB（或您想要设置的任何数量）的内存。假设您已将
    X
    Gb分配给虚拟机，那么将堆大小增加到
    X
    Gb以上不会有任何效果

  • 另外，您使用的清管器版本可能存在问题
    • 尝试使用较旧的pig版本。我在PIG-0.14.0中得到了相同的可重复性问题，但在

    中没有，那么最终的解决方案是什么？