Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/unity3d/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 对内存中的对象使用mapreduce_Java_Hadoop_Mapreduce - Fatal编程技术网

Java 对内存中的对象使用mapreduce

Java 对内存中的对象使用mapreduce,java,hadoop,mapreduce,Java,Hadoop,Mapreduce,我是Hadoop和map reduce的新手,不确定这是否可行。 作为学习Hadoop和MapReduce的一部分,我正在尝试编写 对经典字数进行修改的程序。问题 如下所示:我在java内存中有一个字符串数组(由 扫描仪(用于用户输入)。从这里,我想运行map reduce word 计数这可能吗?从我正在研究的所有hadoop代码中 都是从hadoop文件系统上的文件读取,而不是从内存读取 我知道我可以将文件写入磁盘,然后将其移动到hadoop文件系统 但这将涉及大量的文件io,这是我想要避免

我是Hadoop和map reduce的新手,不确定这是否可行。 作为学习Hadoop和MapReduce的一部分,我正在尝试编写 对经典字数进行修改的程序。问题 如下所示:我在java内存中有一个字符串数组(由 扫描仪(用于用户输入)。从这里,我想运行map reduce word 计数这可能吗?从我正在研究的所有hadoop代码中 都是从hadoop文件系统上的文件读取,而不是从内存读取

我知道我可以将文件写入磁盘,然后将其移动到hadoop文件系统 但这将涉及大量的文件io,这是我想要避免的


任何帮助都将不胜感激。

hadoop的全部目的是处理PB级的数据,如果您可以在一台pc上保存输入,那么您使用的工具就不对了。既然你想学习如何使用hadoop,你应该尝试一些惯用的任务。对于内存中的单个jvm集,这很好。