为什么hadoop计数器中的映射输出记录和减少输入记录不同？
我在hadoop中运行单词计数作业 我的问题是 为什么hadoop计数器中的映射输出记录和减少输入记录不同？ 请参见下图我发现了这个原因 我在代码中使用了组合器类根据“combineoutrecords”计数器，您的作业似乎使用了组合器。这就解释了为什么“减少输入记录”不等于“绘制记录” 通过将100万条记录缩减到几百条，组合器的效率相当高 很可能，您会问为什么“合并输入记录”不等于“映射输出记录”，为什么“合并输出记录”不等于“记录输入记录”。解释是，组合器可以运行多次，这意味着您“实际上”对相同的数据进行了多次计数（在这里，您可以观察到541条额外的输入记录等于677-136，但不能保证这两个数字始终匹配）为什么hadoop计数器中的映射输出记录和减少输入记录不同？,hadoop,mapreduce,counter,Hadoop,Mapreduce,Counter,我在hadoop中运行单词计数作业 我的问题是 为什么hadoop计数器中的映射输出记录和减少输入记录不同？ 请参见下图我发现了这个原因 我在代码中使用了组合器类根据“combineoutrecords”计数器，您的作业似乎使用了组合器。这就解释了为什么“减少输入记录”不等于“绘制记录” 通过将100万条记录缩减到几百条，组合器的效率相当高 很可能，您会问为什么“合并输入记录”不等于“映射输出记录”，为什么“合并输出记录”不等于“记录输入记录”。解释是，组合器可以运行多次，这意味着您“实际上”对