Apache spark 使用Spark覆盖C驱动器上的csv文件

我正在尝试使用覆盖CSV文件

write.mode("overwrite").format("csv").option("header","true").save("C:\\location\\demo.csv")

但它正在创建一个名为

demo.csv

的新文件夹，而不是覆盖。

---

我是spark的新手，我正在尝试在windows上实现它

这就是Spark的行为方式。不能指定文件名。如果要在本地文件系统上写入特定文件，请使用

java.nio.\ucode>API。我们可以在linux中过度写入吗@首先，您可以将文件写入HDFS，然后使用shell脚本将其加载到本地文件系统并重命名。也可以通过spark完成，但如果您使用的是Thread，则必须以客户端模式提交JAR。