Dataframe 如何在spark中以csv格式保存数据帧时从列名中删除双引号?

Dataframe 如何在spark中以csv格式保存数据帧时从列名中删除双引号?,dataframe,csv,apache-spark,pyspark,Dataframe,Csv,Apache Spark,Pyspark,我正在将spark数据帧保存到csv文件中。所有记录都以双引号保存,这很好,但列名也以双引号保存。你能帮我把它们取下来吗 例如: "Source_System"|"Date"|"Market_Volume"|"Volume_Units"|"Market_Value"|"Value_Currency"|"Sales_Channel"|"Competi

我正在将spark数据帧保存到csv文件中。所有记录都以双引号保存,这很好,但列名也以双引号保存。你能帮我把它们取下来吗

例如:

"Source_System"|"Date"|"Market_Volume"|"Volume_Units"|"Market_Value"|"Value_Currency"|"Sales_Channel"|"Competitor_Name"
"IMS"|"20080628"|"183.0"|"16470.0"|"165653.256349"|"AUD"|"AUSTRALIA HOSPITAL"|"PFIZER"
理想产出:

Source_System|Date|Market_Volume|Volume_Units|Market_Value|Value_Currency|Sales_Channel|Competitor_Name
"IMS"|"20080628"|"183.0"|"16470.0"|"165653.256349"|"AUD"|"AUSTRALIA HOSPITAL"|"PFIZER"
我正在使用以下代码:

df4.repartition(1).write.csv(Output_Path_ASPAC, quote='"', header=True, quoteAll=True, sep='|', mode='overwrite')

我认为唯一的解决办法是在写入csv之前在dataframe中对列值加上concat引号

例如:

"Source_System"|"Date"|"Market_Volume"|"Volume_Units"|"Market_Value"|"Value_Currency"|"Sales_Channel"|"Competitor_Name"
"IMS"|"20080628"|"183.0"|"16470.0"|"165653.256349"|"AUD"|"AUSTRALIA HOSPITAL"|"PFIZER"