如何使hadoop映射器输出由它自己的reducer处理?

如何使hadoop映射器输出由它自己的reducer处理?,hadoop,mapper,Hadoop,Mapper,现在,当hadoop映射器输出一些块时,它将被传输到一个新节点,在该节点上运行一个reducer。即使运行映射器的节点也运行reducer,但不能保证其输出块将由同一个本地reducer处理 但我需要让它像那样工作。我需要的是确保使用mapper输出创建的块仅由运行在同一节点中的reducer处理 请帮助给我一些提示。如果运行在不同节点上的不同映射程序生成具有相同密钥的记录,该怎么办?即使这些记录来自不同的节点,也需要将它们馈送到同一个减速器。@Wyzard绝对正确!如果您需要此类功能,请确保M

现在,当hadoop映射器输出一些块时,它将被传输到一个新节点,在该节点上运行一个reducer。即使运行映射器的节点也运行reducer,但不能保证其输出块将由同一个本地reducer处理

但我需要让它像那样工作。我需要的是确保使用mapper输出创建的块仅由运行在同一节点中的reducer处理


请帮助给我一些提示。

如果运行在不同节点上的不同映射程序生成具有相同密钥的记录,该怎么办?即使这些记录来自不同的节点,也需要将它们馈送到同一个减速器。@Wyzard绝对正确!如果您需要此类功能,请确保MapReduce是您的正确选择。