Hadoop 如何在级联中强制减速器?
要获得某些好处,只能使用还原器,而不能使用映射器。在谷歌群组中找到了我的答案: 使用Hadoop 如何在级联中强制减速器?,hadoop,mapreduce,cascading,Hadoop,Mapreduce,Cascading,要获得某些好处,只能使用还原器,而不能使用映射器。在谷歌群组中找到了我的答案: 使用GroupBy,执行分组时,该变量将使用减速机: previousPipe = new GroupBy(previousPipe); //this does a Group on Fields.All 减少文件数量(另一种耦合更少的替代方案) 其中new RandonNumGen(Fields.Args)是一个函数,您可以从函数构建该函数来创建一个新字段(“rand”),该字段创建临时随机数(临时表示您稍后删除
GroupBy
,执行分组时,该变量将使用减速机:
previousPipe = new GroupBy(previousPipe); //this does a Group on Fields.All
减少文件数量(另一种耦合更少的替代方案)
其中new RandonNumGen(Fields.Args)是一个函数,您可以从函数
构建该函数来创建一个新字段(“rand”),该字段创建临时随机数(临时表示您稍后删除该字段)
有关更多信息,请查看此线程:在谷歌群组中找到我的答案: 使用
GroupBy
,执行分组时,该变量将使用减速机:
previousPipe = new GroupBy(previousPipe); //this does a Group on Fields.All
减少文件数量(另一种耦合更少的替代方案)
其中new RandonNumGen(Fields.Args)是一个函数,您可以从函数
构建该函数来创建一个新字段(“rand”),该字段创建临时随机数(临时表示您稍后删除该字段)
有关更多信息,请检查此线程: