Java 如何一次写入减速机的输出

Java 如何一次写入减速机的输出,java,hadoop,Java,Hadoop,我是hadoop新手。在处理示例时,我了解到reducer的OutputCollector通过附加每个键和值对来编写outputpart-0000 例如: 我的k-v减速器副是sachinmumbai 然后减速器将在第0000部分写入sachin mumbai 另一对k-v组合是rajnichennai 然后,将第0000部分附加为 sachin mumbai rajni chennai 我的疑问是……是否可以只写一次输出的k-v对为什么需要这个?我不知道是否存在这样的方法,但我相信您需要

我是hadoop新手。在处理示例时,我了解到reducer的OutputCollector通过附加每个键和值对来编写outputpart-0000

例如: 我的k-v减速器副是sachinmumbai 然后减速器将在第0000部分写入sachin mumbai 另一对k-v组合是rajnichennai 然后,将第0000部分附加为

 sachin mumbai
 rajni chennai

我的疑问是……是否可以只写一次输出的k-v对

为什么需要这个?我不知道是否存在这样的方法,但我相信您需要使用缓冲区并将整个输出存储在内存中,直到reduce方法中没有更多的值为止。然后,不知何故,立即打印整个缓冲区。也许一个愚蠢的解决方案是在一个或两个输出中附加此输出,将键与值字符串分离,并将它们作为单个输出键和值进行收集。有了大数据,你很快就会失去记忆。。。