Hadoop HDFS不复制块

Hadoop HDFS不复制块,hadoop,hdfs,cloudera-cdh,Hadoop,Hdfs,Cloudera Cdh,我最近安装了Hadoop(Cloudera)。我在复制块下得到一个错误(在Cloudera Manager中,它是安装的gui)。所以当我跑步的时候 hdfs dfsadmin -report 我明白了 Configured Capacity: 555730632704 (517.56 GB) Present Capacity: 524592504832 (488.56 GB) DFS Remaining: 524592193536 (488.56 GB) DFS Used: 311296 (

我最近安装了Hadoop(Cloudera)。我在复制块下得到一个错误(在Cloudera Manager中,它是安装的gui)。所以当我跑步的时候

hdfs dfsadmin -report
我明白了

Configured Capacity: 555730632704 (517.56 GB)
Present Capacity: 524592504832 (488.56 GB)
DFS Remaining: 524592193536 (488.56 GB)
DFS Used: 311296 (304 KB)
DFS Used%: 0.00%
Under replicated blocks: 5
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

这意味着出于某种原因,我的hdfs不会复制这些块。从这里查什么?是否可能是my的问题,我需要手动运行它?

复制不足的块有两个主要原因:

1.复制因子超过了可用的数据节点 假设您只有2个数据节点,并且您的复制因子为3,那么您创建的每个块都将处于已复制状态,因为根本没有3个数据节点要复制到其中

解决方案可以是添加数据节点,也可以减少复制因素

2.群集太忙了 集群将优先考虑“实际”工作而不是块的复制。因此,如果创建大量块,可能需要一段时间才能赶上进度。如果集群一直处于繁忙状态,理论上可能总会有一些未复制的块

请注意,正如您提到的,它是一个新的集群,磁盘似乎是最空的,我不认为这里的情况是2


除此之外,当然可能有什么东西真的坏了(比如平衡),但我不会担心,直到你证实可以排除上述两种情况。大多数中断的东西都会在这里或那里导致错误,因此假设您没有看到任何错误,则不太可能出现这种情况