将spark数据帧写入csv时将值内的逗号转义
我使用将spark数据帧写入csv时将值内的逗号转义,csv,apache-spark,spark-dataframe,Csv,Apache Spark,Spark Dataframe,我使用df.write(“csv”)在ApacheSpark中编写我的值集 默认情况下,它写入如下值: 1,abcded,“qwe,rr”即当值中有逗号时,用双引号括起来 但是,我想避开逗号,比如qwe\\,rr,而不是用双引号括起来。 关于如何实现这一点,您有什么想法吗?如果您使用的是from databricks,您可以将quoteMode属性设置为None,如下所示 df.write.option("quoteMode", "None").csv("/path/to/target")
df.write(“csv”)
在ApacheSpark中编写我的值集
默认情况下,它写入如下值:
1,abcded,“qwe,rr”
即当值中有逗号时,用双引号括起来
但是,我想避开逗号,比如qwe\\,rr
,而不是用双引号括起来。
关于如何实现这一点,您有什么想法吗?如果您使用的是from databricks,您可以将quoteMode
属性设置为None
,如下所示
df.write.option("quoteMode", "None").csv("/path/to/target")
我可以这样做:
import org.apache.spark.sql.functions_
val updatedDf=df.withColumn(
“”,regexp\u替换(列(“”,“,”,“,”,“,”)