Hadoop:Can'；t访问“；跟踪URL"；

我将Hadoop环境构建为伪分布式模式（在OSX上）。下面是配置文件的代码段

○core-site.xml

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://127.0.0.1:9000</value>
  </property>
</configuration>

我可以打开“”，所以我查看了工作详细信息。我点击了历史记录按钮（链接到“”）试图打开“跟踪URL”（下图是一个工作详细信息页面），连接被拒绝（google chrome上的错误代码是“ERR_connection_densed”）。

我可以像下面的屏幕截图那样打开节点管理器（），但无法打开“RM Home”（URL为“”）。

配置文件时是否有任何错误，或者我的网络环境不正确？如果您需要我的网络信息（端口等），请在编写时编写

谢谢

--加成--

（180506 23:00）

我检查了一个节点管理器日志文件。我发现出现了错误“无法确定操作系统”。下面是日志文件的一部分

2018-05-06 23:00:03,353 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainersLauncherEventType for class org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainersLauncher
2018-05-06 23:00:03,533 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.nodemanager.ContainerManagerEventType for class org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl
2018-05-06 23:00:03,534 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.nodemanager.NodeManagerEventType for class org.apache.hadoop.yarn.server.nodemanager.NodeManager
2018-05-06 23:00:03,642 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2018-05-06 23:00:03,822 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled Metric snapshot period at 10 second(s).
2018-05-06 23:00:03,822 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NodeManager metrics system started
2018-05-06 23:00:03,932 WARN org.apache.hadoop.yarn.util.ResourceCalculatorPlugin: java.lang.UnsupportedOperationException: Could not determine OS: Failed to instantiate default resource calculator.
java.lang.UnsupportedOperationException: Could not determine OS
    at org.apache.hadoop.util.SysInfo.newInstance(SysInfo.java:43)
    at org.apache.hadoop.yarn.util.ResourceCalculatorPlugin.<init>(ResourceCalculatorPlugin.java:41)
    at org.apache.hadoop.yarn.util.ResourceCalculatorPlugin.getResourceCalculatorPlugin(ResourceCalculatorPlugin.java:191)
    at org.apache.hadoop.yarn.server.nodemanager.NodeResourceMonitorImpl.serviceInit(NodeResourceMonitorImpl.java:73)
    at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
    at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107)
    at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceInit(NodeManager.java:357)
    at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
    at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:636)
    at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:684)

这是原因吗

（18050716:22）

我忘记运行JobHistoryServer，所以我执行了

$HADOOP\u HOME/sbin/mr-jobhistory-daemon.sh start historyserver

41446 JobHistoryServer
41672 NameNode
41779 DataNode
41924 SecondaryNameNode
42128 ResourceManager
42234 NodeManager
42772 Jps

看起来JobHistoryServer正在运行，但我无法打开作业跟踪页面

（180507 16:38）已解决

我尝试打开工作历史记录页面，而不是通过单击历史记录按钮或访问“”，然后我可以打开工作历史记录页面！！

原因可能是

mapred site.xml

等的设置属性（Phani Kumar Yadavilli先生建议）

是否运行作业历史记录服务器进程

使用URL访问，而不是使用历史按钮

Hadoop的版本

---

您尚未指定正在使用的Hadoop版本。在这个问题上有一个JIRA，修复程序从v2.9开始提供

您可以尝试根据系统配置设置以下参数

目前纱线中有两种计算器–DefaultResourceCalculator和DominantResourceCalculator

DefaultResourceCalculator

在进行计算时只考虑内存。这就是在默认情况下在

CapacityScheduler

中执行分配时忽略CPU要求的原因。所有分配的数学运算都简化为只检查资源请求所需的内存以及在特定调度周期中查看的节点上可用的内存

为了启用CPU调度，管理员和用户需要了解一些配置属性

scheduler.capacity.resource calculator

：要在

CapacityScheduler

中启用CPU调度，应在capacity-scheduler.xml文件中将其设置为

org.apache.hadoop.warn.util.resource.DominantResourceCalculator

。

nodemanager.resource.cpu vcores

：在所有节点上的

warn site.xml

中设置适当的数字。这严格取决于集群中运行的工作负载类型，但一般建议管理员将其设置为等于计算机上的物理核心数。 MapReduce框架有自己的配置，用户应该使用这些配置，以便利用Java中的CPU调度

map.cpu.vCore

：设置为每个映射任务所需的vCore数。

reduce.cpu.vCore

：设置为每个reduce任务所需的vCore数。

---

warn.app.mapreduce.am.resource.cpu vcores

：设置为MR AppMaster需要的vcores数量。

谢谢。我使用了版本2.8.2，所以我将Hadoop升级到3.0.0。我添加了您建议的配置，但仍然无法打开任务跟踪器页面。您能做一个JPS并粘贴到这里吗？另外，检查您的历史服务器是否已启动并运行“$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver”。我没有执行“$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver”，所以我执行了JobHistoryServer进程并正在运行（请查看我文章中的“附加”）。但是任务跟踪页面不起作用。对于我造成的任何问题，我深表歉意。我打开“”，然后我可以打开工作历史记录页！！非常感谢。

79464 NameNode
79562 DataNode
79696 SecondaryNameNode
79831 ResourceManager
79945 NodeManager

2018-05-06 23:00:03,353 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainersLauncherEventType for class org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainersLauncher
2018-05-06 23:00:03,533 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.nodemanager.ContainerManagerEventType for class org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl
2018-05-06 23:00:03,534 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.nodemanager.NodeManagerEventType for class org.apache.hadoop.yarn.server.nodemanager.NodeManager
2018-05-06 23:00:03,642 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2018-05-06 23:00:03,822 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled Metric snapshot period at 10 second(s).
2018-05-06 23:00:03,822 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NodeManager metrics system started
2018-05-06 23:00:03,932 WARN org.apache.hadoop.yarn.util.ResourceCalculatorPlugin: java.lang.UnsupportedOperationException: Could not determine OS: Failed to instantiate default resource calculator.
java.lang.UnsupportedOperationException: Could not determine OS
    at org.apache.hadoop.util.SysInfo.newInstance(SysInfo.java:43)
    at org.apache.hadoop.yarn.util.ResourceCalculatorPlugin.<init>(ResourceCalculatorPlugin.java:41)
    at org.apache.hadoop.yarn.util.ResourceCalculatorPlugin.getResourceCalculatorPlugin(ResourceCalculatorPlugin.java:191)
    at org.apache.hadoop.yarn.server.nodemanager.NodeResourceMonitorImpl.serviceInit(NodeResourceMonitorImpl.java:73)
    at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
    at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107)
    at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceInit(NodeManager.java:357)
    at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
    at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:636)
    at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:684)

2018-05-07 14:53:14,803 INFO org.apache.hadoop.yarn.server.nodemanager.NodeManager: 
Node Manager health check script is not available or doesn't have execute permission, so not starting the node health script runner.

41446 JobHistoryServer
41672 NameNode
41779 DataNode
41924 SecondaryNameNode
42128 ResourceManager
42234 NodeManager
42772 Jps