Hadoop 将配置单元数据从HDFS复制到另一台机器的最佳方法?

Hadoop 将配置单元数据从HDFS复制到另一台机器的最佳方法?,hadoop,hive,hdfs,fuse,Hadoop,Hive,Hdfs,Fuse,来源:/mnt/fuse/project/hive这是使用fuse安装的HDF上的配置单元数据 目标:主机:/fs/dir/fs/dir也是一个网络装载的存储,我无法直接访问主机 我做了rsync-avz-p-esh/mnt/fuse/project/hiveuser@host:/fs/dir,这非常慢。我中止了进程,并试图杀死rsync,但无法做到,我同时尝试了kill-15和kill-9 想知道是否有更好的方法来复制数据?您是否尝试过distcp?命令行可以类似于hadoop distcph

来源:/mnt/fuse/project/hive这是使用fuse安装的HDF上的配置单元数据

目标:主机:/fs/dir/fs/dir也是一个网络装载的存储,我无法直接访问主机

我做了rsync-avz-p-esh/mnt/fuse/project/hiveuser@host:/fs/dir,这非常慢。我中止了进程,并试图杀死rsync,但无法做到,我同时尝试了kill-15和kill-9


想知道是否有更好的方法来复制数据?

您是否尝试过distcp?命令行可以类似于hadoop distcphdfs:///path/to/hivedata 财政司司长:///user@host:/fs/dir我认为distcp用于在集群之间复制数据。哦,它可以用于多种方案,即hdfs、http、ftp、文件…,我使用它将cp文件从hdfs复制到本地文件系统,文件为://,但我没有尝试您的情况,这就是我建议您尝试的原因。我已经尝试过了,但它向我抛出了一个异常fs:scheme not found