Hadoop 如何重新平衡数据节点磁盘上的HDFS数据大小

Hadoop 如何重新平衡数据节点磁盘上的HDFS数据大小,hadoop,hdfs,hdp,datanode,Hadoop,Hdfs,Hdp,Datanode,我们有HDP-2.6.4版本的生产集群 我们有186台数据节点机器(DELL机器有10个磁盘) 我们尝试重新平衡磁盘上的数据,使磁盘具有相同的使用大小,但没有成功 我们觉得2.6.4版本没有支持重新平衡的工具 正如我在每个数据节点机器上提到的,我们有10个磁盘,而每个磁盘是1.8T 一些磁盘的使用率为55% 其中一些仅使用了1% 所以我们有非平衡磁盘(就像有些磁盘没有用处一样),但是为什么HDFS不能平衡所有磁盘上的数据呢 我的问题-从哪个HDP版本,我们可以重新平衡数据节点磁盘 2.6.5版本

我们有HDP-2.6.4版本的生产集群

我们有186台数据节点机器(DELL机器有10个磁盘)

我们尝试重新平衡磁盘上的数据,使磁盘具有相同的使用大小,但没有成功

我们觉得2.6.4版本没有支持重新平衡的工具

正如我在每个数据节点机器上提到的,我们有10个磁盘,而每个磁盘是1.8T

一些磁盘的使用率为55%

其中一些仅使用了1%

所以我们有非平衡磁盘(就像有些磁盘没有用处一样),但是为什么HDFS不能平衡所有磁盘上的数据呢

我的问题-从哪个HDP版本,我们可以重新平衡数据节点磁盘

2.6.5版本是否支持重新平衡

还是从3.X开始

请告诉我,我们能做什么

正如我所提到的,这是一个非常巨大的集群


我们有种不好的感觉,当前的HDP版本(2.6.4)不支持任何重新平衡-是真的吗?

@亲爱的Judy,你能给我们看一台带有磁盘的datanode机器吗?我想@cricket_007可以回答你的问题,你的供应商是HopertonWorks,所以为什么不问问他们呢?Hadoop 2没有任何节间重新平衡。我不知道什么是
dfs.datanode.fsdataset.volume.Selecting.policy
设置为?@亲爱的Judy,你能给我们看一台带有磁盘的datanode机器吗?我想@cricket\u 007可以回答你的问题,你的供应商是HopertonWorks,所以为什么不问问他们呢?Hadoop 2没有任何节间重新平衡。我不知道有任何其他选项将dfs.datanode.fsdataset.volume.Selecting.policy设置为什么?