Java hadoop的输入和输出可以不是文件吗?
我正在尝试用java编写一个hadoop mapreduce程序。其输入是一个数组,输出也是一个数组。但到目前为止,我只看到人们使用输入和输出作为它的文件。所以我想知道mapreduce是否可以有其他的输入和输出格式Java hadoop的输入和输出可以不是文件吗?,java,hadoop,mapreduce,Java,Hadoop,Mapreduce,我正在尝试用java编写一个hadoop mapreduce程序。其输入是一个数组,输出也是一个数组。但到目前为止,我只看到人们使用输入和输出作为它的文件。所以我想知道mapreduce是否可以有其他的输入和输出格式 多亏了Hadoop支持各种各样的输入和输出格式。检查和的子类。如果需要任何自定义格式,则扩展InputFormat和OutputFormat。请在Cloudera的DB输入/输出格式上查看这一点。Hadoop是一个文件系统,map reduce的重点是处理通常不适合内存的大量数据,
多亏了Hadoop支持各种各样的输入和输出格式。检查和的子类。如果需要任何自定义格式,则扩展InputFormat和OutputFormat。请在Cloudera的DB输入/输出格式上查看这一点。Hadoop是一个文件系统,map reduce的重点是处理通常不适合内存的大量数据,因此输入和输出通常会以某种方式存储在磁盘上(也称为文件)。 Hadoop mapreduce类支持读取Hadoop支持的不同类型的文件(文本文件、顺序文件)。您还可以编写自己的源代码,例如读取其文件格式的r。我没有试过,但正如Praveen的文章所指出的,你可以从其他来源阅读
输出更容易——因为您正在编写Java代码,所以在reduce阶段可以做任何事情,所以如果您想(比如)在reduce阶段将消息放入队列,只需这样做即可???文件实际上是二进制数据的任意数组。你还在找什么?