Hadoop 如何在级联中强制减速器?

Hadoop 如何在级联中强制减速器?,hadoop,mapreduce,cascading,Hadoop,Mapreduce,Cascading,要获得某些好处,只能使用还原器,而不能使用映射器。在谷歌群组中找到了我的答案: 使用GroupBy,执行分组时,该变量将使用减速机: previousPipe = new GroupBy(previousPipe); //this does a Group on Fields.All 减少文件数量(另一种耦合更少的替代方案) 其中new RandonNumGen(Fields.Args)是一个函数,您可以从函数构建该函数来创建一个新字段(“rand”),该字段创建临时随机数(临时表示您稍后删除

要获得某些好处,只能使用还原器,而不能使用映射器。

在谷歌群组中找到了我的答案:

使用
GroupBy
,执行分组时,该变量将使用减速机:

previousPipe = new GroupBy(previousPipe); //this does a Group on Fields.All
减少文件数量(另一种耦合更少的替代方案)

其中new RandonNumGen(Fields.Args)是一个函数,您可以从
函数
构建该函数来创建一个新字段(“rand”),该字段创建临时随机数(临时表示您稍后删除该字段)


有关更多信息,请查看此线程:

在谷歌群组中找到我的答案:

使用
GroupBy
,执行分组时,该变量将使用减速机:

previousPipe = new GroupBy(previousPipe); //this does a Group on Fields.All
减少文件数量(另一种耦合更少的替代方案)

其中new RandonNumGen(Fields.Args)是一个函数,您可以从
函数
构建该函数来创建一个新字段(“rand”),该字段创建临时随机数(临时表示您稍后删除该字段)

有关更多信息,请检查此线程: