Java apacheavro中的mapred和mapreduce包有什么区别?
我正在做我的项目,以融入我的生活 MapR程序。然而,我很困惑 通过使用新的mapreduce软件包与mapred进行比较。 本手册详细说明了如何使用 在不同的情况下,针对新问题提供的信息较少。 但我知道的是,它们对应于hadoop的新旧接口 是否有人有使用mapreduce界面的经验或示例 对于输入为非Avro数据的作业 (如TextInputFormat)文件Java apacheavro中的mapred和mapreduce包有什么区别?,java,hadoop,mapreduce,avro,Java,Hadoop,Mapreduce,Avro,我正在做我的项目,以融入我的生活 MapR程序。然而,我很困惑 通过使用新的mapreduce软件包与mapred进行比较。 本手册详细说明了如何使用 在不同的情况下,针对新问题提供的信息较少。 但我知道的是,它们对应于hadoop的新旧接口 是否有人有使用mapreduce界面的经验或示例 对于输入为非Avro数据的作业 (如TextInputFormat)文件 输出是avro文件。这两个包代表了相应Hadoop mapred和mapreduce API的输入/输出格式、mapper和redu
输出是avro文件。这两个包代表了相应Hadoop mapred和mapreduce API的输入/输出格式、mapper和reducer基类 因此,如果您的作业使用旧的(mapred)包API,那么您应该使用相应的mapred avro包类 Avro有一个使用Avro输出格式的示例字数调整,对于较新的mapreduce API,该格式应易于修改:
下面是一些经过修改的要点:参考您的要点示例,我可以成功运行我的程序,也许avro可以在新的mapreduce上做得更好,使其成为一个独立的包,而不依赖MapReds,如AvroKey和其他包装器。谢谢如果你不想使用AvroKey的,那么请查看API文档。注意到您可以使用基本的Hadoop可写类型,输出格式将它们转换为avro类型