将Pyspark数据帧保存到csv中,不带标题
我正在寻找一种不指定标题而将数据帧保存到csv文件中的方法 我尝试了下面的代码,但没有成功将Pyspark数据帧保存到csv中,不带标题,pyspark,export-to-csv,pyspark-dataframes,Pyspark,Export To Csv,Pyspark Dataframes,我正在寻找一种不指定标题而将数据帧保存到csv文件中的方法 我尝试了下面的代码,但没有成功 ratingsDF.coalesce(1).write.option("header", "false")\ .csv("csv_file_without_headers.csv") 对于下面的数据帧: +---------+-----+ | x| y| z| +----+----+-----+ | 0| a| 5|
ratingsDF.coalesce(1).write.option("header", "false")\
.csv("csv_file_without_headers.csv")
对于下面的数据帧:
+---------+-----+
| x| y| z|
+----+----+-----+
| 0| a| 5|
| 1| b| 12|
| 2| c| 7|
| 3| d| 27|
| 4| e| 149|
| 5| f| 19|
+---------+-----+
csv的预期结果:
O,a,5
1,b,12
2,c,7
3,d,27
4,e,149
5,f,19
您的选项看起来正确,正在写入的csv文件将没有标题 在Spark中,无法写入不带标题的
文件
csv\u文件。csv
而是检查不带标题的csv\u文件。csv
- 在目录中,您可以看到该目录中的所有文件,不带out头
- 试试这个
ratingsDF.coalesce(1).write.csv("/path/to/save/csv/")
默认情况下,它将保存不带标题的
csv
。您不能指定csv
文件名,只能指定路径。谢谢。即使使用我所输入的代码,也会创建一个名为csv\u file\u的目录,该目录没有\u headers.csv。csv文件就在里面