Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
将spark数据帧写入csv时将值内的逗号转义_Csv_Apache Spark_Spark Dataframe - Fatal编程技术网

将spark数据帧写入csv时将值内的逗号转义

将spark数据帧写入csv时将值内的逗号转义,csv,apache-spark,spark-dataframe,Csv,Apache Spark,Spark Dataframe,我使用df.write(“csv”)在ApacheSpark中编写我的值集 默认情况下,它写入如下值: 1,abcded,“qwe,rr”即当值中有逗号时,用双引号括起来 但是,我想避开逗号,比如qwe\\,rr,而不是用双引号括起来。 关于如何实现这一点,您有什么想法吗?如果您使用的是from databricks,您可以将quoteMode属性设置为None,如下所示 df.write.option("quoteMode", "None").csv("/path/to/target")

我使用
df.write(“csv”)
在ApacheSpark中编写我的值集

默认情况下,它写入如下值:

1,abcded,“qwe,rr”
即当值中有逗号时,用双引号括起来

但是,我想避开逗号,比如
qwe\\,rr
,而不是用双引号括起来。 关于如何实现这一点,您有什么想法吗?

如果您使用的是from databricks,您可以将
quoteMode
属性设置为
None
,如下所示

 df.write.option("quoteMode", "None").csv("/path/to/target")

我可以这样做:

import org.apache.spark.sql.functions_
val updatedDf=df.withColumn(
“”,regexp\u替换(列(“”,“,”,“,”,“,”)