Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
删除Hadoop的一个节点,该节点也是NameNode_Hadoop - Fatal编程技术网

删除Hadoop的一个节点,该节点也是NameNode

删除Hadoop的一个节点,该节点也是NameNode,hadoop,Hadoop,我最近创建了一个包含五台服务器的群集: 主人 节点01 节点02 节点03 节点04 为了有更多的“工人”,我在/etc/hadoop/slaves中将Nademode添加到了奴隶列表中 这样,主控执行一些mapReduce作业 今天我想从workers列表中删除这个节点(这对它来说CPU占用太多)。我想在hdfs-site.xml中设置dfs.exclude,但我担心这也是主服务器 有人能确认我执行此操作没有风险吗 谢谢, Romain.如果主节点中存储有数据(因为它是DataNode,所以可

我最近创建了一个包含五台服务器的群集: 主人 节点01 节点02 节点03 节点04

为了有更多的“工人”,我在/etc/hadoop/slaves中将Nademode添加到了奴隶列表中

这样,主控执行一些mapReduce作业

今天我想从workers列表中删除这个节点(这对它来说CPU占用太多)。我想在hdfs-site.xml中设置dfs.exclude,但我担心这也是主服务器

有人能确认我执行此操作没有风险吗

谢谢,
Romain.

如果主节点中存储有数据(因为它是DataNode,所以可能存储有数据),则基本上会丢失该数据。但是,如果您的复制因子大于1(默认值为3),则这并不重要,因为Hadoop会注意到某些数据丢失(复制不足),并将开始在其他DataNode上再次复制它以达到复制因子


因此,如果您的复制因子大于1(并且集群在其他方面是健康的),您可以删除主机的数据(并使其再次成为名称节点),Hadoop将处理其余的数据。

谢谢!复制因子等于3,没关系。如何继续排除此节点?只需启动集群并将其从etc/hadoop/slaves中的slave文件中删除?从slaves列表中删除就足够了。然后重新开始。(不确定哪些部件需要重新启动,所以我会重新启动所有部件)。我从未使用过dfs.exclude,但我想这可能也可以。