Hadoop 悬挂MapReduce作业

我有一个MapReduce作业1200个映射器，1个减速机挂在Map-100%和Reduce-0%上

减速器永远卡在提取阶段

现在我想辞掉这份工作，然后继续做同样的工作

---

有可能这样做吗？

如果没有关于作业的更多信息，就无法真正说明发生了什么，但可能发生的是，从1200个映射器->1个reducer传输数据需要很长时间

要回答您的问题，您不能在相同的状态下终止工作并再次恢复工作。你必须杀死它并重新开始工作

以下是终止作业的命令：

hadoop job -kill <job_id>

---

谢谢你的快速回复。事实上，我正在运行一个配置单元查询，它有一个包含三列的ORDERBY子句。Order By使用单个减速器。我见过使用explain的查询计划，它有两个根阶段1。地图2。减少在map阶段，它执行where子句，在reduce阶段，它执行fetch。在查看了TT日志文件之后，我没有发现任何错误。我检查了JT web UI，从未尝试过reduce任务。我不知道如何继续。你能试着用限制1执行你的查询吗？这样它将只输出1条记录&我们将进一步了解这是查询问题还是数据大小问题。当我删除ORDERBY条款时，该条款可以正常工作。所以本质上，它必须与减速器获取阶段有关。我做了如下更改集io.sort.mb=150；设置io.sort.record.percent=0.138；设置io.sort.spill.percent=1.0；然后运行查询。现在在TT日志中我看到以下错误，2014-07-21 13:53:01348 INFO org.apache.hadoop.mapred.TaskLogsTruncater:使用mapRetainSize=-1和reduceRetainSize=-1初始化日志的截断器2014-07-21 13:53:01350 WARN org.apache.hadoop.mapred.Child:运行Child java.lang.RuntimeException:java.lang.NullPointerException时出错org.apache.hadoop.hive.ql.exec.Utilities.getMapRedWorkUtilities.java:226