Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/335.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java hadoop的输入和输出可以不是文件吗?_Java_Hadoop_Mapreduce - Fatal编程技术网

Java hadoop的输入和输出可以不是文件吗?

Java hadoop的输入和输出可以不是文件吗?,java,hadoop,mapreduce,Java,Hadoop,Mapreduce,我正在尝试用java编写一个hadoop mapreduce程序。其输入是一个数组,输出也是一个数组。但到目前为止,我只看到人们使用输入和输出作为它的文件。所以我想知道mapreduce是否可以有其他的输入和输出格式 多亏了Hadoop支持各种各样的输入和输出格式。检查和的子类。如果需要任何自定义格式,则扩展InputFormat和OutputFormat。请在Cloudera的DB输入/输出格式上查看这一点。Hadoop是一个文件系统,map reduce的重点是处理通常不适合内存的大量数据,

我正在尝试用java编写一个hadoop mapreduce程序。其输入是一个数组,输出也是一个数组。但到目前为止,我只看到人们使用输入和输出作为它的文件。所以我想知道mapreduce是否可以有其他的输入和输出格式


多亏了Hadoop支持各种各样的输入和输出格式。检查和的子类。如果需要任何自定义格式,则扩展InputFormat和OutputFormat。请在Cloudera的DB输入/输出格式上查看这一点。

Hadoop是一个文件系统,map reduce的重点是处理通常不适合内存的大量数据,因此输入和输出通常会以某种方式存储在磁盘上(也称为文件)。 Hadoop mapreduce类支持读取Hadoop支持的不同类型的文件(文本文件、顺序文件)。您还可以编写自己的源代码,例如读取其文件格式的r。我没有试过,但正如Praveen的文章所指出的,你可以从其他来源阅读


输出更容易——因为您正在编写Java代码,所以在reduce阶段可以做任何事情,所以如果您想(比如)在reduce阶段将消息放入队列,只需这样做即可???文件实际上是二进制数据的任意数组。你还在找什么?