Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark另存为CSV不要忽略空格_Apache Spark_Pyspark_Spark Dataframe_Spark Csv - Fatal编程技术网

Apache spark Spark另存为CSV不要忽略空格

Apache spark Spark另存为CSV不要忽略空格,apache-spark,pyspark,spark-dataframe,spark-csv,Apache Spark,Pyspark,Spark Dataframe,Spark Csv,我正在尝试将Dataframe保存为CSV文件,我希望保留空格。我使用的是Spark 2.1.1,但当我尝试将其保存为CSV文件时,所有空格都会被修剪 我试过这些方法,但都不管用 option("ignoreLeadingWhiteSpace",false") .option("ignoreTrailingWhiteSpace", "false") 预期的CSV格式 SiteNumber, batch ,DayBatchDate,RecordType 190000, T

我正在尝试将Dataframe保存为CSV文件,我希望保留空格。我使用的是Spark 2.1.1,但当我尝试将其保存为CSV文件时,所有空格都会被修剪

我试过这些方法,但都不管用

option("ignoreLeadingWhiteSpace",false")
  .option("ignoreTrailingWhiteSpace", "false")
预期的CSV格式

SiteNumber, batch ,DayBatchDate,RecordType   
    190000,    TBD,  12/12/2017,  +00000001
我的当前输出:

SiteNumber, batch ,DayBatchDate,RecordType   
190000,TBD,12/12/2017,+00000001

Spark 2.2中引入了写入程序的
ignoreLeadingWhiteSpace
ignoreTrailingWhiteSpace
选项(
)因此在Spark 2.1中不会起作用。

ignoreLeadingWhiteSpace
ignoreTrailingWhiteSpace
在Spark 2.2中引入了编写器选项( )所以在Spark 2.1中不会有效果