Mapreduce Map Reduce：每个映射器写入多个文件
我有一个长期运行的地图只工作。每个映射器处理大约25G数据并写入一个文件。输入数据已排序，因此我无法将输入数据拆分为多个映射器。但是，输出数据不需要排序。如何为每个映射器编写多个文件，以使输出文件没有那么大？我想关闭当前打开的文件，只要该文件足够大（比如1G），并开始写入不同的文件 为什么不利用框架…定义拆分大小如果您只想将文件拆分成小块，我需要什么配置设置？它是如何索引的…如果您想保留索引，那么我已经在中进行了解释Mapreduce Map Reduce：每个映射器写入多个文件,mapreduce,Mapreduce,我有一个长期运行的地图只工作。每个映射器处理大约25G数据并写入一个文件。输入数据已排序，因此我无法将输入数据拆分为多个映射器。但是，输出数据不需要排序。如何为每个映射器编写多个文件，以使输出文件没有那么大？我想关闭当前打开的文件，只要该文件足够大（比如1G），并开始写入不同的文件 为什么不利用框架…定义拆分大小如果您只想将文件拆分成小块，我需要什么配置设置？它是如何索引的…如果您想保留索引，那么我已经在中进行了解释