Java Hadoop Mapreduce:在不将Reducer数设置为零的情况下,是否可以将映射器输出写入单独的输出文件(而不是中间文件)?

Java Hadoop Mapreduce:在不将Reducer数设置为零的情况下,是否可以将映射器输出写入单独的输出文件(而不是中间文件)?,java,python,apache,hadoop,mapreduce,Java,Python,Apache,Hadoop,Mapreduce,我需要匿名化由数千个文件组成的GBs数据。这样做通常需要很长时间;因此,我计划在服务器上使用已经安装的伪分布式Hadoop集群 需要对每个文件中的每个记录的两列进行匿名化,这些匿名化列将存储在哈希映射中 理想情况下,我希望有一个mapper实例来处理每个文件并生成相应的匿名输出文件。此外,映射程序应该将匿名列作为键值对,还原程序将其聚合到单个文件中 上述过程是否可以在hadoop框架中实现?如果没有,有没有更好的方法?任何帮助或建议都将不胜感激。谢谢。退房。它允许您为映射器或减速器的输出定义多个

我需要匿名化由数千个文件组成的GBs数据。这样做通常需要很长时间;因此,我计划在服务器上使用已经安装的伪分布式Hadoop集群

需要对每个文件中的每个记录的两列进行匿名化,这些匿名化列将存储在哈希映射中

理想情况下,我希望有一个mapper实例来处理每个文件并生成相应的匿名输出文件。此外,映射程序应该将匿名列作为键值对,还原程序将其聚合到单个文件中

上述过程是否可以在hadoop框架中实现?如果没有,有没有更好的方法?任何帮助或建议都将不胜感激。谢谢。

退房。它允许您为映射器或减速器的输出定义多个文件名

至于匿名化,只需确保您想要的文件名是匿名的,并且映射程序输出匿名密钥<代码>上下文。写入(匿名化(键),值)