在hadoop多节点群集上启动HDFS守护程序时出错

在hadoop多节点群集上启动HDFS守护程序时出错,hadoop,hadoop-streaming,hadoop-plugins,hadoop-partitioning,Hadoop,Hadoop Streaming,Hadoop Plugins,Hadoop Partitioning,Hadoop多节点设置时出现问题。在主服务器上启动hdfs demon后(bin/start dfs.sh) 我确实在主人的日志下面找到了 starting namenode, logging to /home/hduser/hadoop/libexec/../logs/hadoop-hduser-namenode-localhost.localdomain.out slave: Warning: $HADOOP_HOME is deprecated. slave: slave: startin

Hadoop多节点设置时出现问题。在主服务器上启动hdfs demon后(bin/start dfs.sh)

我确实在主人的日志下面找到了

starting namenode, logging to /home/hduser/hadoop/libexec/../logs/hadoop-hduser-namenode-localhost.localdomain.out
slave: Warning: $HADOOP_HOME is deprecated.
slave:
slave: starting datanode, logging to /home/hduser/hadoop/libexec/../logs/hadoop-hduser-datanode-localhost.localdomain.out
master: Warning: $HADOOP_HOME is deprecated.
master:
master: starting datanode, logging to /home/hduser/hadoop/libexec/../logs/hadoop-hduser-datanode-localhost.localdomain.out
master: Warning: $HADOOP_HOME is deprecated.
master:
master: starting secondarynamenode, logging to /home/hduser/hadoop/libexec/../logs/hadoop-hduser-secondarynamenode-localhost.localdomain.out
我确实在slave@

hadoop-hduser-datanode-localhost.localdomain.log文件

有人能告诉我,设置有什么问题吗

2013-07-24 12:10:59,373 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: master/192.168.0.1:54310. Already tried 8 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-07-24 12:11:00,374 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: master/192.168.0.1:54310. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-07-24 12:11:00,377 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to master/192.168.0.1:54310 failed on local exception: java.net.NoRouteToHostException: No route to host
        at org.apache.hadoop.ipc.Client.wrapException(Client.java:1144)
        at org.apache.hadoop.ipc.Client.call(Client.java:1112)

确保NameNode运行正常。如果它已经在运行,请查看连接中是否存在任何问题。您的DataNode无法与NameNode对话。确保已将机器的IP和主机名添加到从属服务器的/etc/hosts文件中。请尝试将telnet连接到192.168.0.1:54310,看看您是否能够连接

向我们展示NN日志会很有帮助

编辑:

查看wiki对此问题的看法: 当网络上的一台机器不知道如何将TCP数据包发送到指定的机器时,您会收到一个TCP No Route To Host错误—通常包装在Java IOException中

一些可能的原因(非排他性列表):

  • 配置文件中远程计算机的主机名错误
  • 客户端的主机表//etc/hosts具有无效的目标主机IP地址
  • DNS服务器的主机表具有无效的目标主机IP地址
  • 客户端的路由表(在Linux中为iptables)错误
  • DHCP服务器正在发布错误的路由信息
  • 客户端和服务器位于不同的子网上,未设置为相互通信。这可能是个意外,也可能是故意锁定Hadoop集群
  • 这些机器正在尝试使用IPv6进行通信。Hadoop目前不支持IPv6
  • 主机的IP地址已更改,但长期存在的JVM正在缓存旧值。这是JVM的一个已知问题(有关详细信息和解决方案,请搜索“java负DNS缓存”)
快速解决方案:重新启动JVM


这些都是网络配置/路由器问题。由于这是您的网络,只有您才能发现并追踪问题。

我对Master and Fund执行了JPS命令[root@localhostconf]#jps 3359数据节点3744 jps 3242 name节点3500 secondaryname节点它们已启动,但从机上没有运行任何服务[hduser@localhost日志]$jps 4384 jps类似于一些网络相关问题。您能够ssh吗?请确保机器连接正确。另外,请确保所有的守护进程都在所有机器上运行。您是否能够通过ssh从从属服务器连接到主服务器?否。理想情况下,如果您配置了ssh,start-dfs.sh将启动所有机器上的所有进程。请查看编辑后的答案。哦..试着挖掘..在网上搜索..如果你仍然面临这个问题,发布一个问题:)