与Hadoop中关于作业完成历史的文件系统计数器混淆
在hadoop的作业完成历史中,我对一些文件系统计数器感到困惑与Hadoop中关于作业完成历史的文件系统计数器混淆,hadoop,Hadoop,在hadoop的作业完成历史中,我对一些文件系统计数器感到困惑 文件字节读取和HDFS字节读取有什么区别 为什么HDFS_字节_读取与映射输入字节具有不同的值 溢出记录和减少输出记录之间有什么区别 下面是一个解释 a) 文件\u字节\u读取- 当映射器的输入来自本地文件时计算。通常为0,但当映射器作为中间输出发送文件时,会出现合并排序来合并文件。映射器中读取的文件是 b) HDFS_字节_读取- 对于mapper,它是来自HDFS的映射输入字节,包括有关拆分的元数据。 对于减速器,它通常为0 c
从reducer发出的最终记录数。我仍然对文件\u字节\u读取感到困惑,你的意思是它总是与Mapper而不是reducer相关@马加姆拉维