Hadoop 组合器是否处理来自多个映射器的结果?

Hadoop 组合器是否处理来自多个映射器的结果?,hadoop,mapreduce,Hadoop,Mapreduce,如果在同一节点上执行多个映射器,combiner是否会合并来自多个映射器的结果 我在文件或书籍中找不到这个问题的答案。我能找到的合并器示例似乎都有所不同,即使它只能从一个映射器聚合结果。来自雅虎: 组合器将接收给定节点上映射器实例发出的所有数据作为输入。组合器的输出随后被发送到减速器,而不是映射器的输出。合并器是一个“迷你减少”过程,它只对一台机器生成的数据进行操作 所以回答你的问题,是的。雅虎教程中的措辞(在莱纳德的回答中提到)似乎有误导性 到目前为止,我们为每个映射任务都提供了一个组合器。此

如果在同一节点上执行多个映射器,combiner是否会合并来自多个映射器的结果

我在文件或书籍中找不到这个问题的答案。我能找到的合并器示例似乎都有所不同,即使它只能从一个映射器聚合结果。

来自雅虎:

组合器将接收给定节点上映射器实例发出的所有数据作为输入。组合器的输出随后被发送到减速器,而不是映射器的输出。合并器是一个“迷你减少”过程,它只对一台机器生成的数据进行操作


所以回答你的问题,是的。

雅虎教程中的措辞(在莱纳德的回答中提到)似乎有误导性

到目前为止,我们为每个映射任务都提供了一个组合器。此问题建议的功能仍在开发中: