如何在hadoop中计算地图输出大小?

如何在hadoop中计算地图输出大小?,hadoop,mapreduce,Hadoop,Mapreduce,我编写了一个mapreduce程序,它有30000条map输出记录。输出记录由key:intwitable和value:intwritable组成,这意味着每条记录是8字节,输出大小是3000*8=240 KB。但在浏览器中,“地图输出”约为490KByte。 原因是什么?我必须如何计算地图输出的大小? 谢谢 你有地图输出压缩集吗?3000*8=240千字节?如何操作?mapreduce作业的详细信息有一个计数器:Map output bytes。您可以在浏览器中进行检查。@JtheRocker

我编写了一个mapreduce程序,它有30000条map输出记录。输出记录由key:intwitable和value:intwritable组成,这意味着每条记录是8字节,输出大小是3000*8=240 KB。但在浏览器中,“地图输出”约为490KByte。 原因是什么?我必须如何计算地图输出的大小?
谢谢

你有地图输出压缩集吗?3000*8=240千字节?如何操作?mapreduce作业的详细信息有一个计数器:
Map output bytes
。您可以在浏览器中进行检查。@JtheRocker execuse me,我有30000条输出记录,每条记录的大小为8字节(两个intwritables)。@zsxwing上面说过,这个参数是490KByte,但当我计算时,它是240KByte。