Hadoop 从MapReduce压缩输出文件，而不合并它们
我有一个MR作业，它使用多路输出格式，输出500个文件。我想压缩这些文件而不合并它们 您必须使用Hadoop 从MapReduce压缩输出文件，而不合并它们,hadoop,mapreduce,zip,multipleoutputs,Hadoop,Mapreduce,Zip,Multipleoutputs,我有一个MR作业，它使用多路输出格式，输出500个文件。我想压缩这些文件而不合并它们 您必须使用SequenceFileOutputFormat：以二进制（原始）格式将键、值写入SequenceFile的OutputFormat SequenceFile.CompressionType中可以有三种变体 块：将记录序列压缩到块中 无：不压缩记录 记录：仅压缩值，每个值单独压缩 代码中的关键更改 Path outDir = new Path(WORK_DIR_PREFIX + "/out/" + j
SequenceFileOutputFormatPath outDir = new Path(WORK_DIR_PREFIX + "/out/" + jobName);
job.setOutputFormatClass(SequenceFileOutputFormat.class);
SequenceFileOutputFormat.setOutputPath(job, outDir);
SequenceFileOutputFormat.setOutputCompressionType(job, CompressionType.BLOCK);