Hadoop HDP 2.3沙盒mapreduce日志

我的mapreduce程序中有System.out.printlns；MR成功运行，但我无法在任何地方看到日志。 我试过使用Thread log-applicationId…，但仍然看不到我的日志

---

是否需要任何特殊设置来启用日志？如果没有，日志文件的位置是什么？

在前几行运行作业时，它将为您提供跟踪作业的链接。您可以在浏览器中粘贴该链接，并浏览任务级日志以查看详细信息

---

在map reduce中使用System.out.println不是一种好的做法。

在前几行中运行作业时，它将为您提供一个跟踪作业的链接。您可以在浏览器中粘贴该链接，并浏览任务级日志以查看详细信息

---

在map reduce中使用System.out.println不是一种好的做法。

如果您已经配置了日志聚合，那么您将在HDFS上的/tmp/logs中找到您的日志。此hdfs目录是使用属性thread.nodemanager.remote-app-log-dir设置的。默认值为/tmp/logs

因此，您应该能够使用以下命令在namenode上查看用户的应用程序日志目录：

hdfs dfs -ls /tmp/logs

---

如果您已经配置了日志聚合，那么您将在HDFS上的/tmp/logs中找到您的日志。此hdfs目录是使用属性thread.nodemanager.remote-app-log-dir设置的。默认值为/tmp/logs

因此，您应该能够使用以下命令在namenode上查看用户的应用程序日志目录：

hdfs dfs -ls /tmp/logs

---

端口8088显示集群上的所有MR作业。单击MR作业并单击跟踪历史记录

端口8088显示集群上的所有MR作业。单击MR作业并单击跟踪历史记录

我有一个类似这样的URL，当我点击Logs链接时，我会收到一条消息说用户未被授权。可能没有配置jobhistory服务器。如果没有作业历史记录服务器，您将无法使用浏览器读取日志。在Ambari中，我看到历史记录服务器已启动。当我单击日志链接时，我有一个类似的URL，我会收到一条消息，说用户未经授权。可能没有配置作业历史记录服务器。没有作业历史记录服务器，您将无法使用浏览器读取日志。在Ambari中，我看到历史服务器已启动是否启用了日志聚合？这可能会有所帮助。Thread-site.xml中的属性thread.log-aggregation-enable设置为true，而thread.nodemanager.log-dirs为/hadoop/thread/log，但我在该文件夹下没有看到任何文件。@manikandankanna，您能找到解决方案吗？我也遇到了同样的问题。是否启用了日志聚合？这可能会有帮助。Thread-site.xml中的属性thread.log-aggregation-enable被设置为true，而thread.nodemanager.log-dirs是/hadoop/thread/log，但我在这个文件夹下没有看到任何文件。@ManikandanKannan，你能找到解决方案吗？我也有同样的问题。实际上它的/app记录在沙盒配置中。我在/app logs/hdfs/logs/application_…下看到了这个特定的应用程序日志，而且纱线日志也可以工作。但是从UI中，我看不到容器和应用程序日志。我收到的消息是日志不可用于容器。。。。。聚合可能不完整，请稍后检查或尝试使用节点管理器……。来自UI的应用程序日志的类似消息我也使用这些url访问容器和应用程序日志……容器url:和作业url:实际上是沙箱配置中的/app日志。我在/app logs/hdfs/logs/application_…下看到了这个特定的应用程序日志，而且纱线日志也可以工作。但是从UI中，我看不到容器和应用程序日志。我收到的消息是日志不可用于容器。。。。。聚合可能不完整，请稍后再试或尝试使用节点管理器……。来自UI的应用程序日志的类似消息以及我使用这些url访问容器和应用程序日志……容器url:和作业url: