Scala 使用HDFS lister Spark列出本地文件系统

Scala 使用HDFS lister Spark列出本地文件系统,scala,apache-spark,filesystems,hdfs,Scala,Apache Spark,Filesystems,Hdfs,我有在HDFS目录中列出文件的功能。我想在单元测试中列出本地目录文件,那么如何将配置切换到本地文件系统? 这就是我现在在测试中使用它的方式: val filesClient = new MockFilesClient(spark().sparkContext.hadoopConfiguration) //parameter i need to replace filesClient.list(any[String]) returns List(samplePath) 方法本身: class M

我有在HDFS目录中列出文件的功能。我想在单元测试中列出本地目录文件,那么如何将配置切换到本地文件系统? 这就是我现在在测试中使用它的方式:

val filesClient = new MockFilesClient(spark().sparkContext.hadoopConfiguration) //parameter i need to replace
filesClient.list(any[String]) returns List(samplePath)
方法本身:

class MockFilesClient(localFsConfig: Configuration){

  def list(path: String): List[String] = {
    listPath(new Path(path.toString), recursive = true)(localFsConfig)
      .toList
  }.map(p => p.toString)
}

检查此帖子并根据您的要求更改逻辑-@Srinivas,正是我搜索了您的上述帖子,最后您发布了它。有没有什么有效的方法可以将所有有用的问题存储在bookmarsk中,因为书签对我来说是很难使用的。是的,转到那个问题并点击星号⭐ 在否决票下进行标记。它将在您的个人资料中的书签选项卡下提供。。。如果有帮助,请向上投票:)检查此帖子并根据您的要求更改逻辑-@Srinivas,正是我搜索了您的上述帖子,最后您发布了它。有没有什么有效的方法可以将所有有用的问题存储在bookmarsk中,因为书签对我来说是很难使用的。是的,转到那个问题并点击星号⭐ 在否决票下进行标记。它将在您的个人资料中的书签选项卡下提供。。。如果有帮助,请向上投票:)