Apache spark Spark另存为CSV不要忽略空格
我正在尝试将Dataframe保存为CSV文件,我希望保留空格。我使用的是Spark 2.1.1,但当我尝试将其保存为CSV文件时,所有空格都会被修剪 我试过这些方法,但都不管用Apache spark Spark另存为CSV不要忽略空格,apache-spark,pyspark,spark-dataframe,spark-csv,Apache Spark,Pyspark,Spark Dataframe,Spark Csv,我正在尝试将Dataframe保存为CSV文件,我希望保留空格。我使用的是Spark 2.1.1,但当我尝试将其保存为CSV文件时,所有空格都会被修剪 我试过这些方法,但都不管用 option("ignoreLeadingWhiteSpace",false") .option("ignoreTrailingWhiteSpace", "false") 预期的CSV格式 SiteNumber, batch ,DayBatchDate,RecordType 190000, T
option("ignoreLeadingWhiteSpace",false")
.option("ignoreTrailingWhiteSpace", "false")
预期的CSV格式
SiteNumber, batch ,DayBatchDate,RecordType
190000, TBD, 12/12/2017, +00000001
我的当前输出:
SiteNumber, batch ,DayBatchDate,RecordType
190000,TBD,12/12/2017,+00000001
Spark 2.2中引入了写入程序的
ignoreLeadingWhiteSpace
和ignoreTrailingWhiteSpace
选项(
)因此在Spark 2.1中不会起作用。
ignoreLeadingWhiteSpace
和ignoreTrailingWhiteSpace
在Spark 2.2中引入了编写器选项(
)所以在Spark 2.1中不会有效果