Hadoop client.RMProxy:连接到ResourceManager

Hadoop client.RMProxy:连接到ResourceManager

我在linux上设置单节点群集：

当我像下面这样运行mapreduce应用程序时：

hadoop-jar-hadoop-mapreduce-examples-2.6.0.jar grep输入输出'dfs[a-z.]+

I got the ff INFO:
15/02/25 23:42:54 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
15/02/25 23:42:56 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
15/02/25 23:42:59 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
15/02/25 23:43:02 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

太平绅士：

设置单节点群集时如何连接到ResourceManager

我试图添加到

warn site.xml

，但没有成功

<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>127.0.0.1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>127.0.0.1:8031</value>
</property>

.resourcemanager.address
127.0.0.1:8032
warn.resourcemanager.scheduler.address
127.0.0.1:8030
warn.resourcemanager.resource-tracker.address
127.0.0.1:8031

---

谢谢

请记住运行Hadoop的一个方面。给出了三种模式：独立模式、伪分布式模式和完全分布式模式

独立和伪分布式在同一节点中运行。实际上，它们只在你的机器上运行。这不需要您显示的配置：

从本质上讲，这就是您在warn-site.xml中的单个节点所需的全部内容：

<configuration>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

纱线.节点管理器.辅助服务
mapreduce_shuffle

但也可以使用进一步的配置。我的虚拟分布式模式站点如下所示：

<configuration>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>localhost:8025</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>localhost:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>localhost:8050</value>
</property>

纱线.节点管理器.辅助服务
mapreduce_shuffle
warn.nodemanager.aux-services.mapreduce\u shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
warn.resourcemanager.resource-tracker.address
本地主机：8025
warn.resourcemanager.scheduler.address
本地主机：8030
.resourcemanager.address
本地主机：8050

---

提示：确保您在配置文件中键入的IP。我建议您将此IP添加到您的etc/主机并提供主机名。因此，请在配置文件中使用主机名。

此问题可能是由于缺少HADOOP_CONF_DIR，MapReduce应用程序需要该目录来连接到资源管理器，如warn site.xml中所述。因此，在运行MapReduce作业之前，请尝试使用适当的HADOOP CONF目录手动设置/导出HADOOP CONF DIR，如导出HADOOP CONF DIR=/etc/HADOOP/CONF。

---

这种方法对我很有效：）

我在Kubernetes上运行Hadoop实例时遇到了同样的问题。问题在于错误消息本身“尝试连接到ResourceManager时连接错误”

Ps:ResourceManager侦听端口8032（除非更改）

确保您正在与ResourceManager相同的网络中运行MapReduce作业，因为它将侦听此地址：

http://:8032

<configuration>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>localhost:8025</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>localhost:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>localhost:8050</value>
</property>