Java 如何度量Hadoop中每个阶段(map、shuffle/sort、reduce)的持续时间?

Java 如何度量Hadoop中每个阶段(map、shuffle/sort、reduce)的持续时间?,java,performance,hadoop,profile,Java,Performance,Hadoop,Profile,Hadoop执行map、shuffle/sort和reduce阶段我想知道每个阶段的持续时间。我的意思是,它们需要多长时间 我搜索了很多文件,但找不到任何明确的解决方案。例如,为了使用Hadoop profiler,我设置了配置文件并启用了探查器。但不会生成结果文件“java.hprof.txt”。此外,我不确定结果文件是否包含我想要的信息 你能帮我吗?跟踪工作进度的一种方法是查看Hadoop提供的Web UI。默认情况下,它在http://server-adress:50030/jobtrac

Hadoop执行map、shuffle/sort和reduce阶段我想知道每个阶段的持续时间。我的意思是,它们需要多长时间

我搜索了很多文件,但找不到任何明确的解决方案。例如,为了使用Hadoop profiler,我设置了配置文件并启用了探查器。但不会生成结果文件“java.hprof.txt”。此外,我不确定结果文件是否包含我想要的信息


你能帮我吗?

跟踪工作进度的一种方法是查看Hadoop提供的Web UI。默认情况下,它在
http://server-adress:50030/jobtracker.jsp


您可以在那里找到有关任务运行时、任务进度、查看日志和许多其他用户工具的信息。

您可以在jobtracker的作业历史日志中找到所有这些信息,该日志可在其web UI中找到。它与作业运行时看到的UI不同。在那里,您将分别找到每个阶段的时间