Hadoop 用于将目录从hdfs复制到本地的Shell脚本

我正在寻找一个shell脚本，它应该将目录（下有文件）从HDFS复制到本地系统

我认为，当您只需要在终端中写入一个命令时，编写整个脚本是毫无意义的。 与

您可以验证要复制和写入的目录的名称和路径

hadoop fs -get /myDir/path

将文件放入本地。您还可以通过以下方式指定目标目录：

hadoop fs -get /myDir/path /myLocal/destDir

它将while目录（带子目录）复制到您的工作目录或指定目录。您还可以使用

或一个命令中的特定目录或文件

hadoop fs -get /myDir/path/dir1 /myDir/path/dir2 .

到您的目录。我在我的Hadoop虚拟机上试用过，效果很好。

Hadoop fs-get可以轻松地将文件从hdfs获取到本地。您可以在shell脚本中添加此语句

hadoop fs -get /myDir/path/* 

hadoop fs -get /myDir/path/dir1 /myDir/path/dir2 .