还原程序如何在Hadoop中收集映射输出

还原程序如何在Hadoop中收集映射输出,hadoop,mapreduce,Hadoop,Mapreduce,减速机是拉动地图输出还是将地图输出推送到减速机?如果减速器拉动,那么它们如何知道要接触的从机映射。作业跟踪器是否告诉减速器要接触哪台机器?这完全发生在发动机罩下。本质上,MapReduce框架通过网络启动一个洗牌和排序,并将其传递给还原程序。您的Reducer或Mapper不做任何推拉操作,它是由Map reduce框架来完成的,而且如果您有自定义的分区器、比较器或组比较器,它会在将数据推送到Reducer之前根据这些数据对数据进行洗牌和排序 我希望它能有所帮助。事实上,它的名字和你的头衔不一样

减速机是拉动地图输出还是将地图输出推送到减速机?如果减速器拉动,那么它们如何知道要接触的从机映射。作业跟踪器是否告诉减速器要接触哪台机器?

这完全发生在发动机罩下。本质上,MapReduce框架通过网络启动一个洗牌和排序,并将其传递给还原程序。您的Reducer或Mapper不做任何推拉操作,它是由Map reduce框架来完成的,而且如果您有自定义的分区器、比较器或组比较器,它会在将数据推送到Reducer之前根据这些数据对数据进行洗牌和排序

我希望它能有所帮助。

事实上,它的名字和你的头衔不一样,但也是同样的问题。