Azure 是否仍要在foreachpartition中使用dbutils.fs命令？

我正在尝试在adls gen2中移动文件，标准的dbtutils.fs.mv对于该任务来说非常慢，因为文件数远远超过200k。我想并行化这个过程，所以我从文件列表中创建了一个RDD，并尝试使用foreachPartition和dbutils.fs.mv。当我尝试这样做时，它抛出错误-java.io.IOException:No FileSystem for scheme:wasbs

还尝试使用

sc.hadoopConfiguration.set（“fs.wasbs.impl”，“org.apache.hadoop.fs.azure.nativeazurefirelesystem”）

，但这只是在azure本机文件系统的行中出现了另一个错误

任何其他实现这一目标的方法都是受欢迎的

---

提前感谢。

问题不在于foreachPartition，而在于使用ADLS Gen2，它在装载的存储上运行良好。

您能否分享您遇到的错误消息的完整堆栈跟踪？