Hadoop 如何获取映射器输出字节计数器
我将不确定数量的map reduce作业链接在一起，用于并行BFS最短路径算法，当路径无法确定时，我的作业将无限循环，而不会生成任何记录。我认为最好的检查方法是获取hadoop维护的映射输出字节计数器Hadoop 如何获取映射器输出字节计数器,hadoop,counter,chaining,Hadoop,Counter,Chaining,我将不确定数量的map reduce作业链接在一起，用于并行BFS最短路径算法，当路径无法确定时，我的作业将无限循环，而不会生成任何记录。我认为最好的检查方法是获取hadoop维护的映射输出字节计数器 如何访问此计数器？要获取作业生成的映射输出字节计数器，请使用 long outputBytes = job.getCounters().findCounter("org.apache.hadoop.mapred.Task$Counter", "MAP_OUTPUT_BYTES").getValue
如何访问此计数器？要获取作业生成的映射输出字节计数器，请使用
long outputBytes = job.getCounters().findCounter("org.apache.hadoop.mapred.Task$Counter", "MAP_OUTPUT_BYTES").getValue();