Hadoop 通过Web UI访问纱线日志

如何通过web ui访问工作日志

我可以通过Thread manager网站查看工作日志。但每次重新启动纱线时，纱线管理器的应用程序列表都是空的。图片在重新启动前显示 我可以通过CLI命令访问应用程序日志，即使我重新启动了Thread

$HADOOP_HOME/bin/Thread日志-应用程序ID应用程序_14949499542308_0020

jobhistory服务器web ui始终为空

My log settings-site.xml和mapred-site.xml中的设置

---

是的，您可以从Web UI访问作业

访问此url http://:50070以获取退役作业

关于您的问题，您已经重新启动了thread，这意味着将唤醒一个新的日志线程，并将日志上载到配置的位置

但在您的问题中，文件系统中是否存在“/app logs”/app logs路径。请查收

有一个保留期，即日志必须存储在该路径中的时间，它由名为warn.log-aggregation.retain-seconds参数的属性名定义

---

据我所知，默认情况下，作业跟踪器UI位于http://:50070，用于显示所有当前正在运行的以及已退役的MapReduce作业的信息，并且Thread有一个JobHistory REST服务，用于显示已完成应用程序的详细信息。

在数据节点上，您可以检查以下文件夹： ${HADOOP_HOME}/logs/userlogs

---

您只需要转到与应用程序id同名的文件夹。

它是否通过CLI工作？如果是，我已经为此编写了一个小型webUI：

<property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/home/hadoop/hadoop/nodemanager-logs</value>
</property>
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/app-logs</value>
</property>
<property>
    <name>yarn.nodemanager.remote-app-log-dir-suffix</name>
    <value>logs</value>
</property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
<property>
    <name>yarn.log.server.url</name>
    <value>http://hdp03.hp.sp.prd.bmsre.com:19888/jobhistory/logs</value>
</property>

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hdp03.hp.sp.prd.bmsre.com:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hdp03.hp.sp.prd.bmsre.com:19888</value>
</property>