Scala 方案：s3d没有文件系统

我试图使用Spark在IBM云对象存储上部署一个文件，但每次尝试调用saveAsTextFile方法时都会出现错误

Exception in thread "main" java.io.IOException: No FileSystem for scheme: s3d

我的代码如下所示（仅用于测试目的）：

你们能帮帮我吗？

---

谢谢大家!

您应该将配置放入SparkSession，然后从中获取上下文。SQLContext在Spark2中不推荐使用。你指的是什么文件？例如，这不是使用s3d，我指的是这个文档：（我知道它有点旧，但是我在Spark中找到的唯一一个）。我应该使用什么来代替SQLContext？在我的配置之后只获取上下文仍然不起作用。。。

val sparkConf = new SparkConf().setAppName("Test").setMaster("local")
val sc = new SparkContext(sparkConf)
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
sc.hadoopConfiguration.set("fs.s3d.service.endpoint", endPoint)
sc.hadoopConfiguration.set("fs.s3d.service.access.key", accessKey)
sc.hadoopConfiguration.set("fs.s3d.service.secret.key", secretKey)

val warehouseLocation = "file:${system:user.dir}/spark-warehouse"
val spark = SparkSession
.builder()
.appName("Test")
.config("spark.sql.warehouse.dir", warehouseLocation)
.getOrCreate()

val file = sc.textFile("src/main/resources/test.csv").map(line => line.split(","))
file.saveAsTextFile("s3d://rollup.service/result")