Scala 重命名S3文件将创建临时文件夹
我试图重命名S3文件,基本上 复制到目标+删除源 但在我的情况下,我可以复制目标,但不能正确删除源。 所有目录结构保持不变,没有任何文件。。 它还在主目录中创建临时文件 重命名后是否必须显式删除它 这是我重命名文件的代码 我在文件夹中有子文件夹Scala 重命名S3文件将创建临时文件夹,scala,apache-spark,amazon-s3,hdfs,Scala,Apache Spark,Amazon S3,Hdfs,我试图重命名S3文件,基本上 复制到目标+删除源 但在我的情况下,我可以复制目标,但不能正确删除源。 所有目录结构保持不变,没有任何文件。。 它还在主目录中创建临时文件 重命名后是否必须显式删除它 这是我重命名文件的代码 我在文件夹中有子文件夹 val file = fs.globStatus(new Path(outputFileURL + "/*/*")) for (urlStatus <- file) { val DataPartitionName = urlStatus.getP
val file = fs.globStatus(new Path(outputFileURL + "/*/*"))
for (urlStatus <- file) {
val DataPartitionName = urlStatus.getPath.toString.split("=")(1).split("\\/")(0).toString
val finalFileName = finalPrefix + DataPartitionName + "." + intFileCounter + "." + fileVersion + currentTime + fileExtention
val dest = new Path(mainFileURL + "/" + finalFileName)
fs.rename(urlStatus.getPath, dest)
intFileCounter += 1
}
如果你查一下,上面写着
重命名的核心操作是将文件系统中的一个条目移动到另一个条目
所以它只是移动文件,而不是重命名。关于以上链接的更多详细信息
因此,我想在重命名完成后,您必须显式删除文件夹名称
您也可以重命名文件夹,而不是仅重命名文件。这不需要您明确删除文件夹名称。我需要重命名其中的每个文件…重命名文件夹会有帮助吗?那么您应该在重命名后明确删除文件夹。重命名就像移动文件一样。你一定读过我共享的链接