Sorting MapReduce框架如何实现排序阶段?
我对MapReduce排序阶段的实现感兴趣;它似乎很有效率。有人能提供一些关于它的参考资料吗?谢谢 指向作为排序阶段编码的位置。请参见中的第393-408行。如果您需要更多信息,请深入了解 已编辑 “排序”阶段属于ReduceTask,如下图所示。(第163页)Sorting MapReduce框架如何实现排序阶段?,sorting,frameworks,hadoop,mapreduce,implementation,Sorting,Frameworks,Hadoop,Mapreduce,Implementation,我对MapReduce排序阶段的实现感兴趣;它似乎很有效率。有人能提供一些关于它的参考资料吗?谢谢 指向作为排序阶段编码的位置。请参见中的第393-408行。如果您需要更多信息,请深入了解 已编辑 “排序”阶段属于ReduceTask,如下图所示。(第163页) 注意:排序实际上发生在映射器之后。reducer只是合并已排序的段。@ThomasJungblut:参见上图。@ThomasJungblut排序发生在map()方法的输出和reducer从多个映射器获得的输入上。后者被称为“排序阶段”(
注意:排序实际上发生在映射器之后。reducer只是合并已排序的段。@ThomasJungblut:参见上图。@ThomasJungblut排序发生在map()方法的输出和reducer从多个映射器获得的输入上。后者被称为“排序阶段”(如图所示)。排序与要映射的输出平行,但排序阶段只是合并阶段。因此,命名是误导性的。这就是我(几个月前)的意图。