Hadoop HDFS在私有云中使用Cloudera Manager

Hadoop HDFS在私有云中使用Cloudera Manager,hadoop,hdfs,cloudera,Hadoop,Hdfs,Cloudera,这让我快发疯了。我已经为此工作了几天,但似乎无法解决这个问题。我有一个运行在eucalyptus上的私有云用于测试,还有4个运行Ubuntu12.04的虚拟机。我试图让cloudera运行HDFS和map reduce,但是当我尝试启动它时,数据节点似乎永远无法与名称节点通信。它安装良好,并通过了所有启动前检查。主机文件都是使用127.0.0.1 localhost和其他虚拟机的ip和主机名设置的,防火墙都是禁用的,安全组设置为允许一切。我可以通过名称节点上的telnet和netstat将802

这让我快发疯了。我已经为此工作了几天,但似乎无法解决这个问题。我有一个运行在eucalyptus上的私有云用于测试,还有4个运行Ubuntu12.04的虚拟机。我试图让cloudera运行HDFS和map reduce,但是当我尝试启动它时,数据节点似乎永远无法与名称节点通信。它安装良好,并通过了所有启动前检查。主机文件都是使用127.0.0.1 localhost和其他虚拟机的ip和主机名设置的,防火墙都是禁用的,安全组设置为允许一切。我可以通过名称节点上的telnet和netstat将8022端口从数据节点连接到名称节点,如下所示:

tcp 0 0 172.31.254.119:9000 0.0.0.0:*收听6519/python
tcp 0.0.0.0:7432 0.0.0.0:*收听5672/postgres
tcp 0 0 127.0.0.1:9001 0.0.0.0:*听6538/python
tcp 0 0 172.31.254.119:50090 0.0.0.0:*收听8694/java
tcp 0.0.0.0:7180 0.0.0.0:*收听5680/java
tcp 0.0.0.0:7182 0.0.0.0:*收听5680/java
tcp 0 0 172.31.254.119:8020 0.0.0.0:*听8689/java
tcp 0 0 172.31.254.119:50070 0.0.0.0:*听8689/java
tcp 0 0 172.31.254.119:8022 0.0.0.0:*听8689/java
tcp 0.0.0.0:22 0.0.0.0:*收听576/sshd
tcp 0 0 127.0.0.1:5432 0.0.0.0:*收听5486/postgres
tcp6 0:::7432::*收听5672/postgres
tcp6 0:::22::*收听576/sshd

然而,我一直得到的错误是:

未能发布事件:SimpleEvent{attributes={STACKTRACE=[org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.protocol.DisallowedDatanodeException):Datanode拒绝与namenode的通信:DatanodeRegistration(172.31.254.110,storageID=DS-1259113373-172.31.254.110-50010-1378398035331,infoPort=50075,ipcPort=50020,storageInfo=lv=-40;cid=cluster9;nsid=46459994;c=0)

我非常感谢任何比我有更多Linux/cloudera/eucalyptus经验的人的建议


谢谢大家。

您已指定使用环回,但DN将自己标识为172.31.254.110。请使用正确的主机名,而不是127.0.0.1。为了更安全起见,请将每台计算机的主机名和IP添加到所有其他计算机的/etc/hosts文件中。如果问题仍然存在,请显示您的配置文件。

您有规范吗如果您正在使用环回,但DN将自己标识为172.31.254.110。请使用正确的主机名,而不是127.0.0.1。为了安全起见,请将每台计算机的主机名和IP添加到所有其他计算机的/etc/hosts文件中。如果问题仍然存在,请显示您的配置文件。

我查看了127.0.0.1添加并注释掉了它所有虚拟机、管理器和节点上的RESES,因此它们只有ip和主机名组合,没有任何效果。我可以上载哪些配置文件?我浏览并注释掉所有虚拟机、管理器和节点上的127.0.0.1地址,因此它们只有ip和主机名组合,没有任何效果。我可以上载哪些配置文件?