Apache 减速器故障

Apache 减速器故障,apache,hadoop,mapreduce,Apache,Hadoop,Mapreduce,我们正在使用3群集计算机,mapreduce.tasktracker.reduce.tasks.maximum属性设置为9。当我设置的减速机数量等于或小于9时,作业获得成功,但如果我设置的减速机数量大于9,则作业失败,出现异常“任务尝试\u 201701270751\u 0001\u r\u000000\u 0未能ping TT 60秒。终止!”。有谁能告诉我问题出在哪里hadoop-0.20中似乎有一些bug (供参考) 你能试着增加任务超时时间吗 (将mapreduce.task.timeo

我们正在使用3群集计算机,mapreduce.tasktracker.reduce.tasks.maximum属性设置为9。当我设置的减速机数量等于或小于9时,作业获得成功,但如果我设置的减速机数量大于9,则作业失败,出现异常“任务尝试\u 201701270751\u 0001\u r\u000000\u 0未能ping TT 60秒。终止!”。有谁能告诉我问题出在哪里

hadoop-0.20中似乎有一些bug

(供参考)

你能试着增加任务超时时间吗


(将mapreduce.task.timeout设置为更高的值)(0将禁用超时)

请查看失败的还原程序的日志并提供堆栈错误。确定导致此错误的原因非常有用。除此之外,没有错误日志2017-01-20 08:16:37536 INFO mapred.TaskTracker[main]:任务尝试\u 201612080512\u 0140\u r\u000003\u 1未能ping TT 60秒。谋杀!2017-01-20 08:16:37536 INFO mapred.TaskTracker[main]:即将清除任务:尝试添加减速机代码,也许问题是你没有写入上下文,reducer变得不活动。我能想到的第一件事是reducer变得不活动,它因为心跳而被杀死。我们增加了心跳,还观察了内存使用情况。这很好,我们得到的是相同的问题,而不是60秒。它被新增加的时间所取代。在我的情况下,最大减速机可以并行运行是9。所以,如果我没有给10个减速机,它就失败了。但给出9或小于9则会成功