Hadoop 寻找好的例子来理解地图阶段不同键的重要性

Hadoop 寻找好的例子来理解地图阶段不同键的重要性,hadoop,mapreduce,Hadoop,Mapreduce,我在MapReduce的Map阶段的大多数书籍/博客中都看到过这个数字/定义 我不明白的是,在映射阶段,输入键是k,输出键是另一个键k(破折号),我在谷歌上搜索了一下,发现了一个简单的例子 我正在寻找更多的例子(理论),对相同的解释。其中,map reduce的输入和输出键不同 如果有人能提供同样的服务,我们将不胜感激。如果我需要进一步解释我的问题,请告诉我 事实上,这很直截了当。映射阶段的输入键是源数据拥有的键,映射之外的键是您希望根据最终结果排序或分组的键 需要注意的是,输入键取决于输入文

我在MapReduce的Map阶段的大多数书籍/博客中都看到过这个数字/定义

我不明白的是,在映射阶段,输入键是k,输出键是另一个键k(破折号),我在谷歌上搜索了一下,发现了一个简单的例子

我正在寻找更多的例子(理论),对相同的解释。其中,map reduce的输入和输出键不同

如果有人能提供同样的服务,我们将不胜感激。如果我需要进一步解释我的问题,请告诉我


事实上,这很直截了当。映射阶段的输入键是源数据拥有的键,映射之外的键是您希望根据最终结果排序或分组的键

需要注意的是,输入键取决于输入文件格式,例如,如果输入为HBase,则键为HBase键,在CSV文件中,键为行号


例如,如果您有一个序列文件,其中每一行都有一个SSN键和一个名为姓氏的值,并且您希望最终结果按姓氏排序,那么k in将是SSN,您将发出由姓氏连接的姓氏,作为k'按其排序

又找到了一个,更多的快乐谢谢你的评论,我听说map reduce程序被配对在一起。。。在这种情况下,我们可以有更多的中间键。。。K1,K2?你能举一些例子吗?只是想更好地理解。。。。在您的解释中,您建议“映射阶段的输入键是源数据所拥有的键,映射之外的键是您希望按最终结果排序或分组的键”。。。在代码片段中,请参见K1、V1 K2、V2和K3、V3(而不是K1、V1 K2、V2和K2、V2)。。。输入是K1,V1,最终结果是K3,V3,但地图阶段的输出是K2,V2。。。我猜这对应于MapReduce链接??reduce是一段代码,因此它可以生成它想要的任何东西。通常,该键与根据输出(map/reduce的目标)格式化的map中的键相同。