Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java apacheavro中的mapred和mapreduce包有什么区别?_Java_Hadoop_Mapreduce_Avro - Fatal编程技术网

Java apacheavro中的mapred和mapreduce包有什么区别?

Java apacheavro中的mapred和mapreduce包有什么区别?,java,hadoop,mapreduce,avro,Java,Hadoop,Mapreduce,Avro,我正在做我的项目,以融入我的生活 MapR程序。然而,我很困惑 通过使用新的mapreduce软件包与mapred进行比较。 本手册详细说明了如何使用 在不同的情况下,针对新问题提供的信息较少。 但我知道的是,它们对应于hadoop的新旧接口 是否有人有使用mapreduce界面的经验或示例 对于输入为非Avro数据的作业 (如TextInputFormat)文件 输出是avro文件。这两个包代表了相应Hadoop mapred和mapreduce API的输入/输出格式、mapper和redu

我正在做我的项目,以融入我的生活 MapR程序。然而,我很困惑 通过使用新的mapreduce软件包与mapred进行比较。 本手册详细说明了如何使用 在不同的情况下,针对新问题提供的信息较少。 但我知道的是,它们对应于hadoop的新旧接口

是否有人有使用mapreduce界面的经验或示例 对于输入为非Avro数据的作业 (如TextInputFormat)文件
输出是avro文件。

这两个包代表了相应Hadoop mapred和mapreduce API的输入/输出格式、mapper和reducer基类

因此,如果您的作业使用旧的(mapred)包API,那么您应该使用相应的mapred avro包类

Avro有一个使用Avro输出格式的示例字数调整,对于较新的mapreduce API,该格式应易于修改:


下面是一些经过修改的要点:

参考您的要点示例,我可以成功运行我的程序,也许avro可以在新的mapreduce上做得更好,使其成为一个独立的包,而不依赖MapReds,如AvroKey和其他包装器。谢谢如果你不想使用AvroKey的,那么请查看API文档。注意到您可以使用基本的Hadoop可写类型,输出格式将它们转换为avro类型