Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 通过ApacheSpark将数据帧作为单个文件保存到AWS S3_Apache Spark_Amazon S3_Spark Dataframe - Fatal编程技术网

Apache spark 通过ApacheSpark将数据帧作为单个文件保存到AWS S3

Apache spark 通过ApacheSpark将数据帧作为单个文件保存到AWS S3,apache-spark,amazon-s3,spark-dataframe,Apache Spark,Amazon S3,Spark Dataframe,如何将数据帧作为单个文件保存到AWS S3?我尝试了重新分区和合并,但没有成功。数据框保存为文件夹中的多个零件文件,我需要将其保存为单个文件(myfile.csv) 谢谢错误消息是什么?没有错误消息,但数据框保存为多部分文件您可以显示输出目录吗?错误消息是什么?没有错误消息,但数据框保存为多部分文件您可以显示输出目录吗? val s3path="s3a://***:***@***/myfile.csv" df.coalesce(1).write.format("com.databricks.sp

如何将数据帧作为单个文件保存到AWS S3?我尝试了重新分区和合并,但没有成功。数据框保存为文件夹中的多个零件文件,我需要将其保存为单个文件(myfile.csv)


谢谢

错误消息是什么?没有错误消息,但数据框保存为多部分文件您可以显示输出目录吗?错误消息是什么?没有错误消息,但数据框保存为多部分文件您可以显示输出目录吗?
val s3path="s3a://***:***@***/myfile.csv"
df.coalesce(1).write.format("com.databricks.spark.csv").save(s3path)