Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 重命名S3文件将创建临时文件夹_Scala_Apache Spark_Amazon S3_Hdfs - Fatal编程技术网

Scala 重命名S3文件将创建临时文件夹

Scala 重命名S3文件将创建临时文件夹,scala,apache-spark,amazon-s3,hdfs,Scala,Apache Spark,Amazon S3,Hdfs,我试图重命名S3文件,基本上 复制到目标+删除源 但在我的情况下,我可以复制目标,但不能正确删除源。 所有目录结构保持不变,没有任何文件。。 它还在主目录中创建临时文件 重命名后是否必须显式删除它 这是我重命名文件的代码 我在文件夹中有子文件夹 val file = fs.globStatus(new Path(outputFileURL + "/*/*")) for (urlStatus <- file) { val DataPartitionName = urlStatus.getP

我试图重命名S3文件,基本上

复制到目标+删除源

但在我的情况下,我可以复制目标,但不能正确删除源。 所有目录结构保持不变,没有任何文件。。 它还在主目录中创建临时文件

重命名后是否必须显式删除它

这是我重命名文件的代码

我在文件夹中有子文件夹

val file = fs.globStatus(new Path(outputFileURL + "/*/*"))
for (urlStatus <- file) {

val DataPartitionName = urlStatus.getPath.toString.split("=")(1).split("\\/")(0).toString            
val finalFileName = finalPrefix + DataPartitionName + "."  + intFileCounter + "." + fileVersion + currentTime + fileExtention
val dest = new Path(mainFileURL + "/" + finalFileName)

fs.rename(urlStatus.getPath, dest)

intFileCounter += 1

 }
如果你查一下,上面写着

重命名的核心操作是将文件系统中的一个条目移动到另一个条目

所以它只是移动文件,而不是重命名。关于以上链接的更多详细信息

因此,我想在重命名完成后,您必须显式删除文件夹名称


您也可以重命名文件夹,而不是仅重命名文件。这不需要您明确删除文件夹名称。

我需要重命名其中的每个文件…重命名文件夹会有帮助吗?那么您应该在重命名后明确删除文件夹。重命名就像移动文件一样。你一定读过我共享的链接