Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
与Hadoop中关于作业完成历史的文件系统计数器混淆_Hadoop - Fatal编程技术网

与Hadoop中关于作业完成历史的文件系统计数器混淆

与Hadoop中关于作业完成历史的文件系统计数器混淆,hadoop,Hadoop,在hadoop的作业完成历史中,我对一些文件系统计数器感到困惑 文件字节读取和HDFS字节读取有什么区别 为什么HDFS_字节_读取与映射输入字节具有不同的值 溢出记录和减少输出记录之间有什么区别 下面是一个解释 a) 文件\u字节\u读取- 当映射器的输入来自本地文件时计算。通常为0,但当映射器作为中间输出发送文件时,会出现合并排序来合并文件。映射器中读取的文件是 b) HDFS_字节_读取- 对于mapper,它是来自HDFS的映射输入字节,包括有关拆分的元数据。 对于减速器,它通常为0 c

在hadoop的作业完成历史中,我对一些文件系统计数器感到困惑

  • 文件字节读取和HDFS字节读取有什么区别

  • 为什么HDFS_字节_读取与映射输入字节具有不同的值

  • 溢出记录和减少输出记录之间有什么区别

  • 下面是一个解释 a) 文件\u字节\u读取- 当映射器的输入来自本地文件时计算。通常为0,但当映射器作为中间输出发送文件时,会出现合并排序来合并文件。映射器中读取的文件是

    b) HDFS_字节_读取- 对于mapper,它是来自HDFS的映射输入字节,包括有关拆分的元数据。 对于减速器,它通常为0

    c) 映射输入字节- 映射程序读取的确切输入字节数。通常,输入字节将略小于HDFS_字节_读取

    d) 泄漏记录- 对于mapper和reducer,它是作业执行期间溢出到磁盘的记录数

    e) 减少产出记录-
    从reducer发出的最终记录数。

    我仍然对文件\u字节\u读取感到困惑,你的意思是它总是与Mapper而不是reducer相关@马加姆拉维