Hadoop 删除DataNode目录时的HDFS行为

我设置了一个Hadoop集群（HDP2.6），其中包含3个节点，每个节点上都有以下HDFS安装点

dfs.datanode.data.dir =/mnt/datadisk1,/mnt/datadisk2,/mnt/datadisk3

dfs.datanode.data.dir = /mnt/datadisk1,/mnt/datadisk2

• /mnt/数据磁盘1
• /mnt/数据磁盘2
• /mnt/数据磁盘3

因此，我的

/etc/fstab

文件在三个节点中的每个节点上都是这样的：

/dev/mapper/centos-home /home                   xfs     defaults        0 0
...
# Here the HDFS Partitions:
/dev/sdb                /mnt/datadisk1          xfs     defaults        0 0
/dev/sdc                /mnt/datadisk2          xfs     defaults        0 0
/dev/sdd                /mnt/datadisk3          xfs     defaults        0 0

dfs.datanode.data.dir =/mnt/datadisk1,/mnt/datadisk2,/mnt/datadisk3

dfs.datanode.data.dir = /mnt/datadisk1,/mnt/datadisk2

路径也在HDFS config（Ambari）

dfs.datanode.data.dir=/mnt/datadisk1、/mnt/datadisk2、/mnt/datadisk3

中设置

dfs.datanode.data.dir =/mnt/datadisk1,/mnt/datadisk2,/mnt/datadisk3

dfs.datanode.data.dir = /mnt/datadisk1,/mnt/datadisk2

我现在的问题是：如果我将Hadoop节点中的一个删除，例如

/mnt/datadisk3

，会发生什么？HDF是否会重新平衡并重新复制该分区上的数据？其他节点上的

/mnt/datadisk3

分区是否仍然可用

dfs.datanode.data.dir =/mnt/datadisk1,/mnt/datadisk2,/mnt/datadisk3

dfs.datanode.data.dir = /mnt/datadisk1,/mnt/datadisk2

每个分区的大小约为1 TB。我的HDF以后会有

3*1TB+3*1TB+2*1TB=8TB

还是只有

2*1TB+2*1TB+2*1TB=6TB

（因为所有

datadisk3

分区都将从HDF中删除）？

dfs.datanode.data.dir =/mnt/datadisk1,/mnt/datadisk2,/mnt/datadisk3 dfs.datanode.data.dir = /mnt/datadisk1,/mnt/datadisk2
• 如果您删除或不提及

  dfs.datanode.data.dir =/mnt/datadisk1,/mnt/datadisk2,/mnt/datadisk3
  
  dfs.datanode.data.dir = /mnt/datadisk1,/mnt/datadisk2
  

  他们不会与datadisk3建立任何连接，因此datadisk3数据不再可用

dfs.datanode.data.dir =/mnt/datadisk1,/mnt/datadisk2,/mnt/datadisk3

dfs.datanode.data.dir = /mnt/datadisk1,/mnt/datadisk2

• 是的，HDF将重新平衡各自分区上的数据，并将其复制到其他块中（基于复制因子）

dfs.datanode.data.dir =/mnt/datadisk1,/mnt/datadisk2,/mnt/datadisk3

dfs.datanode.data.dir = /mnt/datadisk1,/mnt/datadisk2

• 不，您不能使用存储在datadisk3中的数据（如果您使用调试和停用方法，则只有您可以重用数据）

dfs.datanode.data.dir =/mnt/datadisk1,/mnt/datadisk2,/mnt/datadisk3

dfs.datanode.data.dir = /mnt/datadisk1,/mnt/datadisk2

---

如果您有3个节点，并且删除了一个节点。这意味着剩下2个节点，每个节点包含相同的数据，因为复制系数为2，但您的数据将在那里，但只有两个副本

dfs.datanode.data.dir =/mnt/datadisk1,/mnt/datadisk2,/mnt/datadisk3

dfs.datanode.data.dir = /mnt/datadisk1,/mnt/datadisk2