Java Hadoop Map/Reduce映射器“Map”方法和日志

我最近被要求研究加快mapreduce项目的速度。 我试图查看log4j日志信息，该信息是在实现org.apache.hadoop.mapred.Mapper的类的“map”方法中生成的

此类中有以下方法：

@Override
public void configure( .. ) { .. }

public static void doCompileAndAdd( .. ) { .. }

public void map( .. ) { .. }

记录信息可用于configure方法和从configure方法调用的doCompileAndAdd方法；但是，没有显示“映射”方法的日志信息

我也尝试过简单地使用System.out.println。。在map方法中没有成功

有没有人可以帮助我们了解这个问题

谢谢，

---

Telax

由于映射器类实际上在集群中跨节点分布的任务中运行，因此这些任务的stdout会出现在每个任务的单独日志中。查看这些日志的最简单方法是转到集群的job tracker页面，通常在http://namenode:50030/jobtracker.jsp. 从那里，您可以选择作业，然后选择对日志感兴趣的映射任务。

由于映射器类实际上在集群中跨节点分布的任务中运行，因此这些任务的标准输出将显示在每个任务的单独日志中。查看这些日志的最简单方法是转到集群的job tracker页面，通常在http://namenode:50030/jobtracker.jsp. 从那里，您可以选择作业，然后选择您对日志感兴趣的映射任务。

Hi HC，这正是我查看日志的地方。我试着查看运行映射器任务的每个节点，但也没有迹象表明我的“映射”方法登录到那里。我的大学向我保证“map”方法是从hadoop库中调用的，因此我必须听取他们的意见，否则我的假设是根本不会调用该方法。就我个人而言，我通常直接通过ssh进入数据节点查看任务日志。您应该能够在名为：/var/log/hadoop/userlogs/job\u 201208221552\u 0015/trunt\u 201208221552\u 0015\u m\u000000\u 0/stdoutFollow for clearnessHi HC的文件中找到您的标准输出，这正是我一直在查看日志的地方。我试着查看运行映射器任务的每个节点，但也没有迹象表明我的“映射”方法登录到那里。我的大学向我保证“map”方法是从hadoop库中调用的，因此我必须听取他们的意见，否则我的假设是根本不会调用该方法。就我个人而言，我通常直接通过ssh进入数据节点查看任务日志。您应该能够在一个名为：/var/log/hadoop/userlogs/job\u 201208221552\u 0015/trunt\u 201208221552\u 0015\u m\u000000\u 0/stdoutFollow的文件中找到stdout输出