Java hadoop源代码中用于映射时间和减少时间的命令
我们知道map有两部分“chunk和combine”,reduce有三部分“shuffle、sort和reduce”。Java hadoop源代码中用于映射时间和减少时间的命令,java,eclipse,hadoop,hadoop2,Java,Eclipse,Hadoop,Hadoop2,我们知道map有两部分“chunk和combine”,reduce有三部分“shuffle、sort和reduce”。 在hadoop源代码中,每个部分时间的命令是什么,有一个用于JobTracker的API,用于在网络环境中提交和跟踪MR作业。 查看此项了解更多详细信息。 或者,如果您使用的是Hadoop 2.x,那么已经提供了ResourceManager REST API 在hadoop v2中,我们没有jobtracker,我还需要每个5部分的时间。 TaskReport[
在hadoop源代码中,每个部分时间的命令是什么,有一个用于JobTracker的API,用于在网络环境中提交和跟踪MR作业。 查看此项了解更多详细信息。 或者,如果您使用的是Hadoop 2.x,那么已经提供了ResourceManager REST API
在hadoop v2中,我们没有jobtracker,我还需要每个5部分的时间。
TaskReport[] maps = jobtracker.getMapTaskReports("job_id");
for (TaskReport rpt : maps) {
System.out.println(rpt.getStartTime());
System.out.println(rpt.getFinishTime());
}
TaskReport[] reduces = jobtracker.getReduceTaskReports("job_id");
for (TaskReport rpt : reduces) {
System.out.println(rpt.getStartTime());
System.out.println(rpt.getFinishTime());
}