如何在hadoop中解压缩gz文件

如何在hadoop中解压缩gz文件,hadoop,Hadoop,想知道是否有任何hadoop命令来解压缩gz文件 坐在HDFS上,将内容显示到标准输出。您可以通过以下方式轻松完成: hdfs dfs -cat /path/to/file.gz | zcat 只需使用文本命令 hdfs dfs-text file.gz Hadoop知道如何检测gzip文件并为您解压。这与下面的答案相比如何?我想它可能会慢一些,因为gunzipping是在hadoop服务器上完成的,所以需要传输未压缩的数据。使用hdfs fuse挂载并在该挂载上运行gunzip,您只能传输压

想知道是否有任何hadoop命令来解压缩gz文件


坐在HDFS上,将内容显示到标准输出。

您可以通过以下方式轻松完成:

hdfs dfs -cat /path/to/file.gz | zcat
只需使用文本命令

hdfs dfs-text file.gz


Hadoop知道如何检测gzip文件并为您解压。这与下面的答案相比如何?我想它可能会慢一些,因为gunzipping是在hadoop服务器上完成的,所以需要传输未压缩的数据。使用hdfs fuse挂载并在该挂载上运行gunzip,您只能传输压缩数据。另外,如果您需要将解压缩文件保存回hdfs,您的答案也没有帮助(因为您可能没有足够的本地文件系统空间,所以仅将shell重定向到文件是不行的)。