Apache spark 通过ApacheSpark将数据帧作为单个文件保存到AWS S3
如何将数据帧作为单个文件保存到AWS S3?我尝试了重新分区和合并,但没有成功。数据框保存为文件夹中的多个零件文件,我需要将其保存为单个文件(myfile.csv)Apache spark 通过ApacheSpark将数据帧作为单个文件保存到AWS S3,apache-spark,amazon-s3,spark-dataframe,Apache Spark,Amazon S3,Spark Dataframe,如何将数据帧作为单个文件保存到AWS S3?我尝试了重新分区和合并,但没有成功。数据框保存为文件夹中的多个零件文件,我需要将其保存为单个文件(myfile.csv) 谢谢错误消息是什么?没有错误消息,但数据框保存为多部分文件您可以显示输出目录吗?错误消息是什么?没有错误消息,但数据框保存为多部分文件您可以显示输出目录吗? val s3path="s3a://***:***@***/myfile.csv" df.coalesce(1).write.format("com.databricks.sp
谢谢错误消息是什么?没有错误消息,但数据框保存为多部分文件您可以显示输出目录吗?错误消息是什么?没有错误消息,但数据框保存为多部分文件您可以显示输出目录吗?
val s3path="s3a://***:***@***/myfile.csv"
df.coalesce(1).write.format("com.databricks.spark.csv").save(s3path)