删除Hadoop的一个节点,该节点也是NameNode
我最近创建了一个包含五台服务器的群集: 主人 节点01 节点02 节点03 节点04 为了有更多的“工人”,我在/etc/hadoop/slaves中将Nademode添加到了奴隶列表中 这样,主控执行一些mapReduce作业 今天我想从workers列表中删除这个节点(这对它来说CPU占用太多)。我想在hdfs-site.xml中设置dfs.exclude,但我担心这也是主服务器 有人能确认我执行此操作没有风险吗 谢谢,删除Hadoop的一个节点,该节点也是NameNode,hadoop,Hadoop,我最近创建了一个包含五台服务器的群集: 主人 节点01 节点02 节点03 节点04 为了有更多的“工人”,我在/etc/hadoop/slaves中将Nademode添加到了奴隶列表中 这样,主控执行一些mapReduce作业 今天我想从workers列表中删除这个节点(这对它来说CPU占用太多)。我想在hdfs-site.xml中设置dfs.exclude,但我担心这也是主服务器 有人能确认我执行此操作没有风险吗 谢谢, Romain.如果主节点中存储有数据(因为它是DataNode,所以可
Romain.如果主节点中存储有数据(因为它是DataNode,所以可能存储有数据),则基本上会丢失该数据。但是,如果您的复制因子大于1(默认值为3),则这并不重要,因为Hadoop会注意到某些数据丢失(复制不足),并将开始在其他DataNode上再次复制它以达到复制因子
因此,如果您的复制因子大于1(并且集群在其他方面是健康的),您可以删除主机的数据(并使其再次成为名称节点),Hadoop将处理其余的数据。谢谢!复制因子等于3,没关系。如何继续排除此节点?只需启动集群并将其从etc/hadoop/slaves中的slave文件中删除?从slaves列表中删除就足够了。然后重新开始。(不确定哪些部件需要重新启动,所以我会重新启动所有部件)。我从未使用过dfs.exclude,但我想这可能也可以。