“奇数”；在Hadoop Java作业中映射100%减少0%@输出

在我的作业的输出中，我有一个

…作业：映射100%减少0%

行，为每个预期的

…作业：映射n%减少-%

行打印在我的输出中。除此之外，作业按预期运行

见下文第6、22和28行（以星星为前缀）。你知道为什么会这样，或者这意味着什么吗

14/03/12 14:51:56 INFO mapred.LocalJobRunner:
14/03/12 14:51:56 INFO mapred.MapTask: Starting flush of map output
14/03/12 14:51:56 INFO mapred.MapTask: Spilling map output
14/03/12 14:51:56 INFO mapred.MapTask: bufstart = 0; bufend = 51192402; bufvoid = 104857600
14/03/12 14:51:56 INFO mapred.MapTask: kvstart = 26214396(104857584); kvend = 18693168(74772672); length = 7521229/6553600
** 14/03/12 14:51:57 INFO mapreduce.Job:  map 25% reduce 0%
14/03/12 14:51:59 INFO mapred.LocalJobRunner: map > sort
14/03/12 14:51:59 INFO mapred.MapTask: Finished spill 0
14/03/12 14:51:59 INFO mapred.Task: Task:attempt_local1547766427_0001_m_000007_0 is done. And is in the process of committing
14/03/12 14:51:59 INFO mapred.LocalJobRunner: map
14/03/12 14:51:59 INFO mapred.Task: Task 'attempt_local1547766427_0001_m_000007_0' done.
14/03/12 14:51:59 INFO mapred.LocalJobRunner: Finishing task: attempt_local1547766427_0001_m_000007_0
14/03/12 14:51:59 INFO mapred.LocalJobRunner: Starting task: attempt_local1547766427_0001_m_000008_0
14/03/12 14:51:59 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]
14/03/12 14:51:59 INFO mapred.MapTask: Processing split: hdfs://<removed>.lzo:0+21976289
14/03/12 14:51:59 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer
14/03/12 14:51:59 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)
14/03/12 14:51:59 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100
14/03/12 14:51:59 INFO mapred.MapTask: soft limit at 83886080
14/03/12 14:51:59 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600
14/03/12 14:51:59 INFO mapred.MapTask: kvstart = 26214396; length = 6553600
** 14/03/12 14:52:00 INFO mapreduce.Job:  map 100% reduce 0%
14/03/12 14:52:02 INFO mapred.LocalJobRunner:
14/03/12 14:52:02 INFO mapred.MapTask: Starting flush of map output
14/03/12 14:52:02 INFO mapred.MapTask: Spilling map output
14/03/12 14:52:02 INFO mapred.MapTask: bufstart = 0; bufend = 52931779; bufvoid = 104857600
14/03/12 14:52:02 INFO mapred.MapTask: kvstart = 26214396(104857584); kvend = 18670736(74682944); length = 7543661/6553600
** 14/03/12 14:52:03 INFO mapreduce.Job:  map 29% reduce 0%

14/03/12 14:51:56信息映射。本地JobRunner:
14/03/12 14:51:56信息映射。映射任务：开始刷新映射输出
14/03/12 14:51:56信息映射。映射任务：溢出映射输出
14/03/12 14:51:56 INFO mapred.MapTask:bufstart=0；bufend=51192402；bufvoid=104857600
2012年3月14日14:51:56 INFO mapred.MapTask:kvstart=26214396（104857584）；kvend=18693168（74772672）；长度=7521229/6553600
**14/03/12 14:51:57信息地图还原。作业：地图25%还原0%
14/03/12 14:51:59信息映射。本地JobRunner:map>sort
14/03/12 14:51:59信息映射。映射任务：已完成溢出0
14/03/12 14:51:59信息映射。任务：任务：尝试\u local1547766427\u 0001\u m\u000007\u 0已完成。并且正在提交
14/03/12 14:51:59信息映射。本地JobRunner:映射
14/03/12 14:51:59信息映射。任务：任务“尝试本地1547766427_0001_m_000007_0”已完成。
14/03/12 14:51:59信息映射。本地JobRunner:完成任务：尝试\u local1547766427\u 0001\u m\u000007\u 0
14/03/12 14:51:59信息映射。本地JobRunner:启动任务：尝试\u local1547766427\u 0001\u m\u000008\u 0
14/03/12 14:51:59信息映射。任务：使用ResourceCalculatorProcessTree:[]
14/03/12 14:51:59信息映射。映射任务：处理拆分：hdfs://.lzo:0+21976289
14/03/12 14:51:59 INFO mapred.MapTask:Map output collector class=org.apache.hadoop.mapred.MapTask$MapOutputBuffer
2012年3月14日14:51:59 INFO mapred.MapTask：（赤道）0千伏26214396（104857584）
14/03/12 14:51:59信息mapred.MapTask:mapreduce.task.io.sort.mb:100
2012年3月14日14:51:59信息映射。映射任务：软限制在83886080
14/03/12 14:51:59 INFO mapred.MapTask:bufstart=0；bufvoid=104857600
2012年3月14日14:51:59 INFO mapred.MapTask:kvstart=26214396；长度=6553600
**14/03/12 14:52:00信息地图还原。作业：地图100%还原0%
14/03/12 14:52:02 INFO mapred.LocalJobRunner:
14/03/12 14:52:02信息映射。映射任务：开始刷新映射输出
14/03/12 14:52:02信息映射。映射任务：溢出映射输出
14/03/12 14:52:02 INFO mapred.MapTask:bufstart=0；bufend=52931779；bufvoid=104857600
14/03/12 14:52:02 INFO mapred.MapTask:kvstart=26214396（104857584）；kvend=18670736（74682944）；长度=7543661/6553600
**14/03/12 14:52:03信息地图还原。作业：地图29%还原0%

编辑：

---

我仍然不知道发生这种情况的确切原因，但我错误地在本地模式下运行。在集群模式下运行作业（这就是它的名称），会显示预期的输出。

您似乎没有减速器。

---

您是否在jobTracker本地主机上进行了验证？

您似乎正在使用旧API；

---

通过查看“org.apache.hadoop.mapred”，可以尝试使用“org.apache.hadoop.mapreduce”。

什么让你相信没有减缩器？因为如果我理解得很好，你总是有0%的减缩，这看起来就像将减缩任务数设置为零一样，我明白了。不，“问题”（作业正常完成）是，输出是例如Map 0%减少0%->Map 33%减少0%->Map 100%减少0%->Map 66%减少0%->Map 100%减少0%->Map 99%减少0%->Map 100%减少0%->Map 100%减少0%->Map 100%减少50%->Map 100%减少100%->Doneunfortional，看不到任何mapred导入。我将尝试创建一个再现问题的最小示例。