Logging Hadoop在oozie中运行时记录日志

我正在通过

oozie

运行map reduce作业。我使用的命令如下

oozie job -verbose -oozie http://myoozieurl -config job.properties -run

如何查看hadoop作业生成的日志？是否有办法查看生成的日志或重新更正日志以在终端窗口上打印

如果我使用（MapR）

hadoop

命令运行作业，我可以在终端上看到log命令的输出

---

hadoop和oozie的新手。所以这可能是新手的疏忽。

这篇文章解释了在mapreduce作业期间如何管理日志

作业完成后，NodeManager将为每个容器保留

${warn.NodeManager.log.retain seconds}

的日志，默认值为10800秒（3小时），并在过期后将其删除。但是，如果启用了

${spirn.log aggregation enable}

，节点管理器将立即将所有容器日志连接到一个文件中，并将它们上载到

${spirn.NodeManager.remote app log dir}/${user.name}/logs/

中的HDFS中，然后从本地userlogs目录中删除它们。在PHD中默认启用日志聚合，这使日志收集更加方便

启用日志聚合时的示例。我们知道此mapreduce作业中执行了4个容器，因为“

-m

”指定了3个映射器，第四个容器是应用程序主容器。每个节点管理员至少有一个容器，所以他们都上传了一个日志文件

[gpadmin@hdm1 ~]$ hdfs dfs -ls /yarn/apps/gpadmin/logs/application_1389385968629_0025/
Found 3 items
-rw-r-----   3 gpadmin hadoop       4496 2014-02-01 16:54 /yarn/apps/gpadmin/logs/application_1389385968629_0025/hdw1.hadoop.local_30825
-rw-r-----   3 gpadmin hadoop       5378 2014-02-01 16:54 /yarn/apps/gpadmin/logs/application_1389385968629_0025/hdw2.hadoop.local_36429
-rw-r-----   3 gpadmin hadoop    1877950 2014-02-01 16:54 /yarn/apps/gpadmin