在spark java中附加到csv文件始终创建新文件
我正在尝试将新数据集附加到已经存在的文件中。 我写了以下代码：在spark java中附加到csv文件始终创建新文件,java,scala,apache-spark,pyspark,apache-spark-sql,Java,Scala,Apache Spark,Pyspark,Apache Spark Sql,我正在尝试将新数据集附加到已经存在的文件中。 我写了以下代码： ds3.coalesce(1).write().mode("append").option("header","true").option("compression","none").csv(Directory+"OUTPUT.csv"); 但每次它都在OUTPUT.csv文件夹中创建新文件。 但我的要求是，它总是附加到csv文件中，而不是创建一个新的文件。有人有任何想法和更好的方法，因为coalesce在性能方面非常昂贵
ds3.coalesce(1).write().mode("append").option("header","true").option("compression","none").csv(Directory+"OUTPUT.csv");