在hadoop中有没有办法通过webhdfs拉取整个目录?

在hadoop中有没有办法通过webhdfs拉取整个目录?,hadoop,webhdfs,distcp,Hadoop,Webhdfs,Distcp,我们有两个集群,其中我们的需求是将数据从一个集群拉到另一个集群 我们唯一的选择是,通过webhdfs拉取数据 但不幸的是,我们可以看到,通过webhdfs,我们一次只能提取一个文件,这也需要对每个文件执行两个命令 我的直截了当的问题是:有没有一种方法可以通过webhdfs获取整个目录数据?? **Ex:** **directory structure in the cluster:** dir1 file1 file2 file3

我们有两个集群,其中我们的需求是将数据从一个集群拉到另一个集群

我们唯一的选择是,通过webhdfs拉取数据

但不幸的是,我们可以看到,通过webhdfs,我们一次只能提取一个文件,这也需要对每个文件执行两个命令

我的直截了当的问题是:有没有一种方法可以通过webhdfs获取整个目录数据??

**Ex:** 
**directory structure in the cluster:**

dir1

        file1

        file2

        file3 


**currently observed that,** 

for every file i.e 1,2 & 3, i need to execute two commands to get data.

**Problem statement:** 

Is there a way thru webhdfs, to get all the files in a single call i.e., files 1,2 & 3 at a time from dir1 ...!!!!
有人能帮我做这个吗

注意:由于安全原因,DISTCP不是我们的工作选项