Hadoop 从「;减少输入记录”;至;减少输入组“;

Hadoop 从「;减少输入记录”;至;减少输入组“;,hadoop,mapreduce,Hadoop,Mapreduce,运行映射作业后,我们将获得有关该作业的一些摘要,例如: ... reduce input records: 10 reduce input groups: 3 ... 我知道这是由组合重复键引起的。我的问题是reducer使用什么方法来组合记录?key1.equals(key2)或key1.hashCode==key2.hashCode 谢谢。仅与比较,因为钥匙必须执行。 key.hashCode()用于分区。Equals永远不会被使用。仅用于比较,因为必须实现键。 key.hashCode(

运行映射作业后,我们将获得有关该作业的一些摘要,例如:

...
reduce input records: 10
reduce input groups: 3
...
我知道这是由组合重复键引起的。我的问题是reducer使用什么方法来组合记录?key1.equals(key2)或key1.hashCode==key2.hashCode


谢谢。

仅与比较,因为钥匙必须执行。
key.hashCode()
用于分区。Equals永远不会被使用。

仅用于比较,因为必须实现键。
key.hashCode()
用于分区。Equals永远不会被使用。

一般来说,还原符不会合并记录。为映射器发出的每个键执行一个减缩器(不一定并行)

Reduce Input Groups是输入到 减速器。Reduce Input Records是值的数目。每把钥匙都有
一个或多个与之相关联的值进入减速器。

减速器通常不会合并记录。为映射器发出的每个键执行一个减缩器(不一定并行)

Reduce Input Groups是输入到 减速器。Reduce Input Records是值的数目。每把钥匙都有 一个或多个与之相关的值进入减速器