Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/jpa/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop如何管理负载平衡_Hadoop_Load Balancing - Fatal编程技术网

Hadoop如何管理负载平衡

Hadoop如何管理负载平衡,hadoop,load-balancing,Hadoop,Load Balancing,我刚刚开始研究Hadoop。 我想知道hadoop是如何管理负载平衡的 如果一个集群中有5个节点,那么hadoop如何确保每个节点具有相同的工作负载? Hadoop有没有用于负载平衡的算法 你能帮我学习Hadoop吗 我想你指的是Thread,ResourceManager,而不是HDFS,文件系统 纱线既不能保证也不能保证同等加工 就MapReduce而言,如果数据严重偏向特定的密钥对,那么一个节点的一个进程将成为作业的瓶颈 如果您指的是HDFS,那么实际上有一种称为HDFS再平衡器的东西,但

我刚刚开始研究Hadoop。
我想知道hadoop是如何管理负载平衡的

如果一个集群中有5个节点,那么hadoop如何确保每个节点具有相同的工作负载?
Hadoop有没有用于负载平衡的算法


你能帮我学习Hadoop吗

我想你指的是Thread,ResourceManager,而不是HDFS,文件系统

纱线既不能保证也不能保证同等加工

就MapReduce而言,如果数据严重偏向特定的密钥对,那么一个节点的一个进程将成为作业的瓶颈

如果您指的是HDFS,那么实际上有一种称为HDFS再平衡器的东西,但这是为了确保您的数据在集群中公平分布,以便作业能够在“数据局部性”方面更好地分布。然而,这仍然无助于数据的偏斜