Hadoop 活动datanode未按namenode显示
我有一个hadoop集群,有1个名称节点和4个数据节点,HDFS-site.xml中的复制值设置为3。我最近更换了一台数据节点计算机并重新启动了集群。从名称节点到任何数据节点的SSH设置为使用无密码登录,并且新数据节点上的防火墙也已关闭。集群工作正常。但是,“名称”节点仅显示3个数据节点,其中缺少新添加的数据节点。有趣的是,JPS显示DataNode和TaskTracker进程正在数据节点上运行,而不是以名称节点显示。有什么不对劲吗?谢谢Hadoop 活动datanode未按namenode显示,hadoop,nodes,Hadoop,Nodes,我有一个hadoop集群,有1个名称节点和4个数据节点,HDFS-site.xml中的复制值设置为3。我最近更换了一台数据节点计算机并重新启动了集群。从名称节点到任何数据节点的SSH设置为使用无密码登录,并且新数据节点上的防火墙也已关闭。集群工作正常。但是,“名称”节点仅显示3个数据节点,其中缺少新添加的数据节点。有趣的是,JPS显示DataNode和TaskTracker进程正在数据节点上运行,而不是以名称节点显示。有什么不对劲吗?谢谢 更新:刚刚发现问题节点上的core-site.xml和m
更新:刚刚发现问题节点上的core-site.xml和mapred-site.xml指向错误的namenode主机。更正这些值并重新启动群集后,群集摘要将显示所有数据节点。检查名称节点框上的conf\slaves文件。它列出了datanodes—您可能希望确保在其中找到新添加的datanode。
请重新启动名称节点。谢谢您的回复。新数据节点已列在从属文件中。否则,我猜新数据节点上的DataNote和TaskTracker进程将不会启动。是的,我确实重新启动了名称节点。作为测试,我只是再次从名称节点停止集群。有趣的是,终端显示在新数据节点上没有tasktracker和数据节点可停止。但是,当我重新启动集群时,没有为有问题的数据节点记录任何错误。甚至tasktracker日志文件也可以顺利生成。同样,新数据节点上的JPS仍然显示TaskTracker和DataNode进程正在运行,但群集摘要没有显示此新数据节点。只需从名称节点重新停止群集,终端显示所有数据节点上的TaskTracker和DataNode进程都已停止,包括有问题的节点。重新启动后,尽管所有数据节点上都在运行datanode和tasktracker进程,但群集摘要中仍缺少新的数据节点。我很困惑。新的DN是否被防火墙或端口限制阻止到达NN…另一件需要检查的事情