Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/328.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 向hadoop MapReduce清理添加进度跟踪机制_Java_Hadoop_Mapreduce - Fatal编程技术网

Java 向hadoop MapReduce清理添加进度跟踪机制

Java 向hadoop MapReduce清理添加进度跟踪机制,java,hadoop,mapreduce,Java,Hadoop,Mapreduce,假设我在Hadoop MapReduce中使用cleanup()函数。我该如何在其中添加进度跟踪机制(比如以完成百分比表示),以便在控制台中显示它?该类的cleanup()没有实现 从命令提示符运行Hadoop作业时,控制台上会打印以下内容 11/10/31 18:15:50信息mapreduce。作业:映射0%减少0% 11/10/31 18:16:15信息mapreduce。作业:映射50%减少0% 11/10/31 18:16:21信息地图还原。作业:地图100%还原0% 11/10/31

假设我在Hadoop MapReduce中使用cleanup()函数。我该如何在其中添加进度跟踪机制(比如以完成百分比表示),以便在控制台中显示它?

该类的cleanup()没有实现

从命令提示符运行Hadoop作业时,控制台上会打印以下内容

11/10/31 18:15:50信息mapreduce。作业:映射0%减少0%
11/10/31 18:16:15信息mapreduce。作业:映射50%减少0%
11/10/31 18:16:21信息地图还原。作业:地图100%还原0%
11/10/31 18:16:30信息地图还原。作业:地图100%还原100%

上面的代码在类中


必须修改Mapper.cleanup()代码才能将进度打印到控制台和构建的jar文件中。我认为Hadoop中没有对cleanup的OOB支持。

类的cleanup()没有实现

从命令提示符运行Hadoop作业时,控制台上会打印以下内容

11/10/31 18:15:50信息mapreduce。作业:映射0%减少0%
11/10/31 18:16:15信息mapreduce。作业:映射50%减少0%
11/10/31 18:16:21信息地图还原。作业:地图100%还原0%
11/10/31 18:16:30信息地图还原。作业:地图100%还原100%

上面的代码在类中

必须修改Mapper.cleanup()代码才能将进度打印到控制台和构建的jar文件中。我认为Hadoop中没有OOB对清理的支持

  String report = 
    (" map " + StringUtils.formatPercent(mapProgress(), 0)+
        " reduce " + 
        StringUtils.formatPercent(reduceProgress(), 0));
  if (!report.equals(lastReport)) {
    LOG.info(report);
    lastReport = report;
  }