Python 如何使用mrjob.cat自动解压缩输入?

Python 如何使用mrjob.cat自动解压缩输入?,python,mapreduce,compression,mapper,mrjob,Python,Mapreduce,Compression,Mapper,Mrjob,我想使用MrJob来分析数据集,而无需事先在磁盘上解压缩它(它是18Gb压缩的,但未压缩>3Tb)。如何使用use自动解压缩文件并将其流式传输到映射器?没有任何代码示例。MRJob可以自动将压缩文件格式(如.bz2和.gz)作为输入,它知道该做什么

我想使用MrJob来分析数据集,而无需事先在磁盘上解压缩它(它是18Gb压缩的,但未压缩>3Tb)。如何使用use自动解压缩文件并将其流式传输到映射器?没有任何代码示例。

MRJob可以自动将压缩文件格式(如.bz2和.gz)作为输入,它知道该做什么