Java 对内存中的对象使用mapreduce
我是Hadoop和map reduce的新手,不确定这是否可行。 作为学习Hadoop和MapReduce的一部分,我正在尝试编写 对经典字数进行修改的程序。问题 如下所示:我在java内存中有一个字符串数组(由 扫描仪(用于用户输入)。从这里,我想运行map reduce word 计数这可能吗?从我正在研究的所有hadoop代码中 都是从hadoop文件系统上的文件读取,而不是从内存读取 我知道我可以将文件写入磁盘,然后将其移动到hadoop文件系统 但这将涉及大量的文件io,这是我想要避免的Java 对内存中的对象使用mapreduce,java,hadoop,mapreduce,Java,Hadoop,Mapreduce,我是Hadoop和map reduce的新手,不确定这是否可行。 作为学习Hadoop和MapReduce的一部分,我正在尝试编写 对经典字数进行修改的程序。问题 如下所示:我在java内存中有一个字符串数组(由 扫描仪(用于用户输入)。从这里,我想运行map reduce word 计数这可能吗?从我正在研究的所有hadoop代码中 都是从hadoop文件系统上的文件读取,而不是从内存读取 我知道我可以将文件写入磁盘,然后将其移动到hadoop文件系统 但这将涉及大量的文件io,这是我想要避免
任何帮助都将不胜感激。hadoop的全部目的是处理PB级的数据,如果您可以在一台pc上保存输入,那么您使用的工具就不对了。既然你想学习如何使用hadoop,你应该尝试一些惯用的任务。对于内存中的单个jvm集,这很好。