Hadoop 数据节点'；在hdfs中，s的使用率达到100%？平衡器坏了

我对Hadoop hdfs有一些问题。（Hadoop 2.7.3） 我有2个namenode（1个活动节点，1个备用节点）和3个DataNode。复制因子为3

$  hdfs dfs -df -h /
Filesystem                Size    Used  Available  Use%
hdfs://hadoop-cluster  131.0 T  51.3 T     79.5 T   39%

使用

-df

命令使用的磁盘是51T

$ hdfs dfs -du -h /
912.8 G  /dir1
2.9 T    /dir2

但使用

-du

命令使用的磁盘大约为3T

$ hdfs dfs -du -h /
912.8 G  /dir1
2.9 T    /dir2

我发现其中一个数据节点的使用率达到了100%

Live datanodes (3):

datanode1: 
Configured Capacity: 48003784114176 (43.66 TB)
DFS Used: 2614091989729 (2.38 TB)
Non DFS Used: 95457946911 (88.90 GB)
DFS Remaining: 45294174318384 (41.19 TB)
DFS Used%: 5.45%
DFS Remaining%: 94.36%


*****datanode2******
Configured Capacity: 48003784114176 (43.66 TB)
DFS Used: 48003784114176 (43.66 TB)
Non DFS Used: 0
DFS Remaining: 0
DFS Used%: 100%
DFS Remaining%: 0%


datanode3: 
Configured Capacity: 48003784114176 (43.66 TB)
DFS Used: 2615226250042 (2.38 TB)
Non DFS Used: 87496531142 (81.49 GB)
DFS Remaining: 45301001735984 (41.20 TB)
DFS Used%: 5.45%
DFS Remaining%: 94.37%

我的问题是

我试着做了

平衡器

。它似乎可以工作，但没有为所有迭代移动任何块，并且它存在时没有任何错误。如何平衡数据节点的磁盘使用？为什么

hdfs平衡器

命令不移动任何块

虽然

datanode2

已满，但节点的状态显示为“正在使用”或“活动”或“正常”。当然，在这种情况下，我无法用hdfs编写新数据

-df

的结果与

-du

的结果相差太大。为什么?

---

添加新的数据节点，或降低复制系数

为什么?

让我们将集群中使用最多的节点称为alpha，其余两个使用较少的节点称为beta、gamma

---

现在，假设您正在将一个“file.txt”从复制因子为3的alpha节点移动到beta节点，这里发生的是将主文件移动到beta节点，但在alpha节点中创建了复制的文件。因此，alpha节点中使用的总空间保持不变。

为什么您的datanodes命名为“namenode”？那只是confusing@cricket_007对不起，弄糊涂了。这是打字错误。它们是datanode，而不是namenode。我修好了。