Hadoop “什么时候会?”;“无地图绘制者”;需要什么?

Hadoop “什么时候会?”;“无地图绘制者”;需要什么?,hadoop,mapreduce,Hadoop,Mapreduce,在某些用例中,我已经有一段时间没有使用减速机作业了,但我从未遇到过“无映射器”作业。“无映射器”意味着mapreduce框架仍将读取输入文件,并以某种方式(基于InputFormat?)对其进行洗牌/排序,而这些文件将作为我的reducer的输入 “无映射器”是“身份映射器”的委婉说法。如果不指定映射器,则默认映射器就是该映射器。至少,identity mapper进程会将未更改的输入定向到正确的reducer分区。对于一些基于输入键的聚合函数,identity mapper是有意义的。映射器将

在某些用例中,我已经有一段时间没有使用减速机作业了,但我从未遇到过“无映射器”作业。“无映射器”意味着mapreduce框架仍将读取输入文件,并以某种方式(基于InputFormat?)对其进行洗牌/排序,而这些文件将作为我的reducer的输入

“无映射器”是“身份映射器”的委婉说法。如果不指定映射器,则默认映射器就是该映射器。至少,identity mapper进程会将未更改的输入定向到正确的reducer分区。

对于一些基于输入键的聚合函数,identity mapper是有意义的。映射器将发出与输入相同的i/o键,并且reducer将聚合特定键的值。

如果使用Hadoop流:

-mapper "/bin/sh -c \"cat\""