如何在Hadoop中平衡数据节点之间的数据?

如何在Hadoop中平衡数据节点之间的数据?,hadoop,hdfs,hadoop2,namenode,Hadoop,Hdfs,Hadoop2,Namenode,我在Hadoop中有一个多节点集群,由两台机器组成(每台机器中有一个名称节点和两个数据节点) 我正在使用: hadoop fs -put dir1 hdfspath 在上面的命令中:数据是分布在两台机器上还是只分布在一台机器上 平衡的方法是什么:是使用hadoop平衡器工具还是有一种自动平衡方法?这取决于两个因素: 您正在存储的数据的大小 为数据节点定义的块大小 如果存储的数据大小大于块大小,则数据将被拆分为块大小并存储在不同的数据节点中

我在Hadoop中有一个多节点集群,由两台机器组成(每台机器中有一个名称节点和两个数据节点)

我正在使用:

hadoop fs -put dir1 hdfspath
在上面的命令中:数据是分布在两台机器上还是只分布在一台机器上


平衡的方法是什么:是使用hadoop平衡器工具还是有一种自动平衡方法?

这取决于两个因素:

  • 您正在存储的数据的大小
  • 为数据节点定义的块大小
如果存储的数据大小大于块大小,则数据将被拆分为块大小并存储在不同的数据节点中