Hadoop HDFS copyFromLocal在使用ssh时速度较慢

Hadoop HDFS copyFromLocal在使用ssh时速度较慢,hadoop,hdfs,Hadoop,Hdfs,我正在使用ssh发出HDFS的copyFromLocal命令,如下所示(在脚本中): ssh-tubuntu@namenode_server“hdfs dfs-copyFromlocal data/file.csv/file.csv” 然而,我观察到了非常奇怪的行为。对于9GB文件,此ssh命令可能需要20分钟到25分钟不等的时间。但是,如果我只是从HDFS中删除文件并重新运行该命令,它总是在4分钟内执行 将文件从一个HDFS集群移动到另一个HDFS集群时,文件传输也需要大约3-4分钟(即使我更

我正在使用ssh发出HDFS的copyFromLocal命令,如下所示(在脚本中):

ssh-tubuntu@namenode_server“hdfs dfs-copyFromlocal data/file.csv/file.csv”

然而,我观察到了非常奇怪的行为。对于9GB文件,此ssh命令可能需要20分钟到25分钟不等的时间。但是,如果我只是从HDFS中删除文件并重新运行该命令,它总是在4分钟内执行

将文件从一个HDFS集群移动到另一个HDFS集群时,文件传输也需要大约3-4分钟(即使我更改了源集群和目标集群之间的块大小)

我正在为HDFS集群使用EC2服务器。我正在使用Hadoop 2.7.6


不知道为什么第一次将文件从本地文件系统复制到HDFS需要这么长时间

删除文件时,您是跳过垃圾箱还是以其他方式删除它?只需使用hdfs dfs-rm删除文件和默认垃圾箱策略,我认为该策略的删除间隔为0分钟