Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何使用pig或hadoop fs选项重命名具有特定扩展名的文件?_Hadoop_Apache Pig - Fatal编程技术网

如何使用pig或hadoop fs选项重命名具有特定扩展名的文件?

如何使用pig或hadoop fs选项重命名具有特定扩展名的文件?,hadoop,apache-pig,Hadoop,Apache Pig,我有基于mm/dd/yyyy分区的文件夹结构中的*.gz文件 . 我想重命名以.gz扩展名结尾的文件 请建议如何使用hadoop fs命令行选项或使用pig重命名具有特定扩展名的文件 这是我的文件夹结构 ----root folder | ---year -- month -- day -- filename*.gz 我想重命名扩展名为.gz的文件。请建议如何做到这一点。我知道这是一个肮脏的黑客行为,但对我来说很有效。我

我有基于mm/dd/yyyy分区的文件夹结构中的*.gz文件 . 我想重命名以.gz扩展名结尾的文件

请建议如何使用hadoop fs命令行选项或使用pig重命名具有特定扩展名的文件

这是我的文件夹结构

----root folder
    |
     ---year
        -- month
         -- day
          -- filename*.gz

我想重命名扩展名为.gz的文件。请建议如何做到这一点。

我知道这是一个肮脏的黑客行为,但对我来说很有效。我假设您想将.gz文件扩展名更改为.newextension

hadoop fs-ls root/*/*/*/filename*.gz | grep.gz\ |awk'{print“hadoop fs-mv”$NF“$NF}”| rev |cut-c4-| rev | sed-e's/$/newextension/'bash 您可以根据需要更改
cut-c4-
零件进行试验。在准备运行它之前,我建议使用文件输出,而不是在最后使用直接bash管道:

hadoop fs-ls root/*/*/*/filename*.gz | grep.gz\ |awk'{print“hadoop fs-mv”$NF“$NF}”| rev |cut-c4-| rev | sed-e's/$/newextension/'>rename_script.sh 当您对它感到满意时,运行它:

bash rename_script.sh