Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/367.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 将带有Spark的文件列表从HDFS复制到HDFS_Java_Apache Spark_Copy_Hdfs - Fatal编程技术网

Java 将带有Spark的文件列表从HDFS复制到HDFS

Java 将带有Spark的文件列表从HDFS复制到HDFS,java,apache-spark,copy,hdfs,Java,Apache Spark,Copy,Hdfs,我有这样一个文件: /root/dir1/file1 /root/dir2/subdir/file2 ... 我需要像这样使用JavaSpark将这些文件复制到另一个位置 /dest/dir1/file1 /dest/dir2/subdir/file2 ... 因此,基本上我需要用目标根替换每个路径的开头。 对于单个文件,我可以执行以下操作: sc.textFile("/root/dir1/file1").saveAsTextFile("/dest/dir1/file1") 但我真的不知道

我有这样一个文件:

/root/dir1/file1
/root/dir2/subdir/file2
...
我需要像这样使用JavaSpark将这些文件复制到另一个位置

/dest/dir1/file1
/dest/dir2/subdir/file2
...
因此,基本上我需要用目标根替换每个路径的开头。 对于单个文件,我可以执行以下操作:

sc.textFile("/root/dir1/file1").saveAsTextFile("/dest/dir1/file1")
但我真的不知道如何以分布式方式处理文件列表,重命名路径等等

有什么帮助吗