Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 节点间减速器分布不良的原因是什么_Hadoop_Mapreduce_Yarn - Fatal编程技术网
Fatal编程技术网
  • hadoop/
  • Hadoop 节点间减速器分布不良的原因是什么

Hadoop 节点间减速器分布不良的原因是什么

hadoop mapreduce

Hadoop 节点间减速器分布不良的原因是什么,hadoop,mapreduce,yarn,Hadoop,Mapreduce,Yarn,在Hadoop中，MR jobmapreduce.job.reduces设置为集群中的节点数（~50） 然而，在应用程序UI中，我看到一些节点有2-3个reducer任务，而一些节点有0个 我希望每个节点都有一个减速器。没有为作业提供分区器。我期望默认的散列分区器在机器上均匀地分配密钥。密钥只是一个表示URL的字符串，我确信密钥哈希代码没有问题。那么问题出在哪里呢 我猜这个问题和纱线资源管理有关，但我不确定

在Hadoop中，MR job
mapreduce.job.reduces
设置为集群中的节点数（~50）

然而，在应用程序UI中，我看到一些节点有2-3个reducer任务，而一些节点有0个

我希望每个节点都有一个减速器。没有为作业提供分区器。我期望默认的散列分区器在机器上均匀地分配密钥。密钥只是一个表示URL的字符串，我确信密钥哈希代码没有问题。那么问题出在哪里呢

我猜这个问题和纱线资源管理有关，但我不确定