Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/sqlite/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 2.2中死节点和活节点列表中的相同节点_Hadoop_Upgrade_Hdfs - Fatal编程技术网

Hadoop 2.2中死节点和活节点列表中的相同节点

Hadoop 2.2中死节点和活节点列表中的相同节点,hadoop,upgrade,hdfs,Hadoop,Upgrade,Hdfs,在HDFS网页上,死节点列表和活节点列表中似乎也出现了相同的节点。 如何摆脱这些“死”节点 我刚刚将480个节点的集群上的Apache Hadoop从1.2.1版升级到2.2.0版。 一切都很顺利。旧版本和新版本中的块数和文件数相同。FSCK报告没有问题 我有480个活动节点。奇怪的是,hdfs管理页面上显示了23个死节点。 不知何故,这23个死节点也可以在活动节点列表中找到。它们在两个列表中(活的和死的)具有相同的名称和ip 作为hadoop dfs管理报告的结果,我得到: Datanodes

在HDFS网页上,死节点列表和活节点列表中似乎也出现了相同的节点。 如何摆脱这些“死”节点

我刚刚将480个节点的集群上的Apache Hadoop从1.2.1版升级到2.2.0版。 一切都很顺利。旧版本和新版本中的块数和文件数相同。FSCK报告没有问题

我有480个活动节点。奇怪的是,hdfs管理页面上显示了23个死节点。 不知何故,这23个死节点也可以在活动节点列表中找到。它们在两个列表中(活的和死的)具有相同的名称和ip

作为hadoop dfs管理报告的结果,我得到:

Datanodes available: 480 (503 total, 23 dead)
这是报表中死节点的统计信息:

Configured Capacity: 0 (0 B)
DFS Used: 0 (0 B)
Non DFS Used: 0 (0 B)
DFS Remaining: 0 (0 B)
DFS Used%: 100.00%
DFS Remaining%: 0.00%
Last contact: Thu Jan 01 01:00:00 CET 1970
我已经检查过了,只有一个DataNode软件实例在这23个节点上运行。 如果我从死列表中存在的活动列表中停止一个datanode,那么10分钟后该节点在死列表中出现两次。 如果我再次启动datanode,该节点将显示在活动列表中,但死列表中仍存在一个实例。 我已经检查了namenode日志,但没有发现任何错误。我也多次重启Hadoop。每次相同的23个节点出现在死区列表中时

我现在明白了问题在于网络拓扑。我用过

./hdfs dfsadmin-打印拓扑

命令,并实现23个死节点也与/default rack和/rack6关联。我有12个机架用于480个节点

但我的网络拓扑解析器仍然工作正常,因此我无法理解为什么节点也与默认机架关联。

这是一个错误

在hdfs-site.xml中查看“dfs.hosts”的配置谢谢。 我们已经将集群升级到ApacheHadoop2.5,假死节点已经消失