Hadoop HDFS未检测到数据节点容量增加

Hadoop HDFS未检测到数据节点容量增加,hadoop,hdfs,Hadoop,Hdfs,我有一个虚拟hadoop集群,由4个虚拟机1个主节点和3个从节点组成,最近为集群中的数据节点增加了100GB的容量。问题是HDFS没有检测到这种增长。我重新启动了datanode、namenode,并格式化了HDFS,但没有影响。如何解决此问题?我正在编写添加datanode/增加hdfs卷大小的步骤: 在根目录中创建文件夹,例如/hdfsdata 在主页下创建文件夹,例如/home/hdfsdata 向“hdfs”用户提供此文件夹的权限:chown hdfs:hadoop-R/home/hdf

我有一个虚拟hadoop集群,由4个虚拟机1个主节点和3个从节点组成,最近为集群中的数据节点增加了100GB的容量。问题是HDFS没有检测到这种增长。我重新启动了datanode、namenode,并格式化了HDFS,但没有影响。如何解决此问题?

我正在编写添加datanode/增加hdfs卷大小的步骤:

在根目录中创建文件夹,例如/hdfsdata

在主页下创建文件夹,例如/home/hdfsdata

向“hdfs”用户提供此文件夹的权限:chown hdfs:hadoop-R/home/hdfsdata

提供此文件夹的文件/文件夹权限:chmod 777-R/home/hdfsdata

装载此新文件夹:Mount-bind/home/hdfsdata//hdfsdata/

最后,使用逗号分隔的值将新创建的目录添加到属性dfs.datanode.data.dir下的hdfs-site.xml中

当我将cd刻录到/hadoop/hdfs/data时


完成上述步骤后,重新启动HDFS服务,您的容量就增加了。

添加是什么意思?是否已将Datanode目录的路径添加到hdfs site.xml?不需要格式化hdfs,只需添加新的Datanode卷即可。您确实需要在/etc/fstab中装载卷,并在datanode上编辑hdfs-site.xml,新的装载点@cricket_007没有新卷!以前有一个容量为500GB的卷,现在添加了100GB。当卷没有更改时,我应该在/etc/fstab中装载什么?不要忘记机器是虚拟的。@Abhinav,添加意味着增加。是的,我在属性dfs.datanode.data.dir中添加了datanode目录的路径。现在,没有新的目录。我刚改变了音量大小。问题是HDFS无法检测到这种增加,容量保持在以前的值上。我执行了所有步骤,但容量没有改变。是否有任何特定错误?您使用的是HDP od CDH吗?上面的注释编辑:当我将path/home/hdfsdata添加到属性dfs.datanode.data.dir时,datanode的容量增加了20GB。但为什么是20GB?我使用apache hadoop发行版。您希望添加多少内存?对于添加到datanode的文件夹,请使用“df或du”命令检查该特定文件夹的大小。我添加了100GB,因此我希望HDFS中添加100GB。我检查了目录的大小,那个是20GB!但我的磁盘上有100GB的空闲空间。我应该增加目录的大小吗?