如何使用pig或hadoop fs选项重命名具有特定扩展名的文件?
我有基于mm/dd/yyyy分区的文件夹结构中的*.gz文件 . 我想重命名以.gz扩展名结尾的文件 请建议如何使用hadoop fs命令行选项或使用pig重命名具有特定扩展名的文件 这是我的文件夹结构如何使用pig或hadoop fs选项重命名具有特定扩展名的文件?,hadoop,apache-pig,Hadoop,Apache Pig,我有基于mm/dd/yyyy分区的文件夹结构中的*.gz文件 . 我想重命名以.gz扩展名结尾的文件 请建议如何使用hadoop fs命令行选项或使用pig重命名具有特定扩展名的文件 这是我的文件夹结构 ----root folder | ---year -- month -- day -- filename*.gz 我想重命名扩展名为.gz的文件。请建议如何做到这一点。我知道这是一个肮脏的黑客行为,但对我来说很有效。我
----root folder
|
---year
-- month
-- day
-- filename*.gz
我想重命名扩展名为.gz的文件。请建议如何做到这一点。我知道这是一个肮脏的黑客行为,但对我来说很有效。我假设您想将.gz文件扩展名更改为.newextension: hadoop fs-ls root/*/*/*/filename*.gz | grep.gz\ |awk'{print“hadoop fs-mv”$NF“$NF}”| rev |cut-c4-| rev | sed-e's/$/newextension/'bash 您可以根据需要更改
cut-c4-
零件进行试验。在准备运行它之前,我建议使用文件输出,而不是在最后使用直接bash管道:
hadoop fs-ls root/*/*/*/filename*.gz | grep.gz\
|awk'{print“hadoop fs-mv”$NF“$NF}”| rev
|cut-c4-| rev | sed-e's/$/newextension/'>rename_script.sh
当您对它感到满意时,运行它:
bash rename_script.sh