Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何从hadoop集群中删除datanode而不丢失数据_Hadoop - Fatal编程技术网

如何从hadoop集群中删除datanode而不丢失数据

如何从hadoop集群中删除datanode而不丢失数据,hadoop,Hadoop,我想从hadoop集群中删除datanode,但不想丢失数据。是否有任何技术可以将我要删除的节点上的数据复制到扩孔数据节点?hadoop集群的复制因子是什么? 如果默认值通常为3,则可以直接删除datanode,因为数据会自动复制。此过程通常由名称节点控制。 如果将群集的复制因子更改为1,则如果删除该节点,其中的数据将丢失。你不能再复制它了 假设我有4个节点,我想删除其中的2个,删除数据节点时的数据将自动复制到两个数据节点的其余部分…..您有4个节点,并且删除了一个。这意味着剩下3个节点,每个节

我想从hadoop集群中删除datanode,但不想丢失数据。是否有任何技术可以将我要删除的节点上的数据复制到扩孔数据节点?

hadoop集群的复制因子是什么? 如果默认值通常为3,则可以直接删除datanode,因为数据会自动复制。此过程通常由名称节点控制。
如果将群集的复制因子更改为1,则如果删除该节点,其中的数据将丢失。你不能再复制它了

假设我有4个节点,我想删除其中的2个,删除数据节点时的数据将自动复制到两个数据节点的其余部分…..您有4个节点,并且删除了一个。这意味着剩下3个节点,每个节点包含相同的数据,因为复制因子为3。当您再删除一个节点时,名称节点无法为第三个副本创建插槽。因此,它会不断抱怨这一点,并会永久性地尝试将它们带到预期的复制因子。HDFS系统有一个参数,replication factor,它告诉namenode每个块的复制方式。除非系统能够按照复制因子指定的次数复制每个块,否则它将继续尝试这样做。这意味着我不会丢失正确的数据,还有一件事我们可以在删除4个节点中的第2个节点后将复制值更改为2到hdfs-site.xml。是的。您的数据将在那里,但只有两个副本。是的,您可以更改复制值。提供的站点地址在这方面有帮助。