Hadoop MapReduce冻结在99%

Hadoop MapReduce冻结在99%,hadoop,mapreduce,Hadoop,Mapreduce,我有一个非常简单的hadoop程序的问题,它进展到99%的还原阶段,然后冻结。输入是一个非常精简的文件~50行文本,输出应该是非常直接的Id及其频率的键值对 我已将mapred-site.xml中的内存分配增加到~6Gig <property> <name>mapred.child.java.opts</name> <value>-Xmx6024m</value> </property> mapred.c

我有一个非常简单的hadoop程序的问题,它进展到99%的还原阶段,然后冻结。输入是一个非常精简的文件~50行文本,输出应该是非常直接的Id及其频率的键值对

我已将mapred-site.xml中的内存分配增加到~6Gig

<property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx6024m</value>
</property>

mapred.child.java.opts
-Xmx6024m

我试图检查日志文件,但它们都是空的,没有写入任何内容。请说明这可能有什么问题?

好的,所以当我开始使用较新的作业和配置类时,问题已经解决了。到目前为止,我一直在使用遗留代码,这似乎导致了很多错误。所以我想我的建议是使用最新的hadoop库&而不是不推荐使用的库


遗憾的是,一些hadoop书籍仍然使用遗留类和API进行教学。-不要使用它们

此外,Hadoop似乎没有通过@deprecated annotation生成不推荐的方法。因此,所有遗留方法看起来都是完全合法的。。。。。然而,它们是高度不一致的。。。