Java 将带有Spark的文件列表从HDFS复制到HDFS
我有这样一个文件:Java 将带有Spark的文件列表从HDFS复制到HDFS,java,apache-spark,copy,hdfs,Java,Apache Spark,Copy,Hdfs,我有这样一个文件: /root/dir1/file1 /root/dir2/subdir/file2 ... 我需要像这样使用JavaSpark将这些文件复制到另一个位置 /dest/dir1/file1 /dest/dir2/subdir/file2 ... 因此,基本上我需要用目标根替换每个路径的开头。 对于单个文件,我可以执行以下操作: sc.textFile("/root/dir1/file1").saveAsTextFile("/dest/dir1/file1") 但我真的不知道
/root/dir1/file1
/root/dir2/subdir/file2
...
我需要像这样使用JavaSpark将这些文件复制到另一个位置
/dest/dir1/file1
/dest/dir2/subdir/file2
...
因此,基本上我需要用目标根替换每个路径的开头。
对于单个文件,我可以执行以下操作:
sc.textFile("/root/dir1/file1").saveAsTextFile("/dest/dir1/file1")
但我真的不知道如何以分布式方式处理文件列表,重命名路径等等
有什么帮助吗