Xml Spark Dataset write()方法返回错误
我试图使用Databricks库加载XML文件并将数据写入该文件,但无法将输出Xml Spark Dataset write()方法返回错误,xml,csv,hadoop,apache-spark,dataset,Xml,Csv,Hadoop,Apache Spark,Dataset,我试图使用Databricks库加载XML文件并将数据写入该文件,但无法将输出数据(数组)写入csv文件 我发现以下错误: Exception in thread "main" java.lang.UnsupportedOperationException: CSV data source does not support array<string> data type. 例外情况应该是不言自明的。无法将数组写入CSV文件 您必须将其连接为单个字符串: import org.apa
数据(数组)
写入csv文件
我发现以下错误:
Exception in thread "main" java.lang.UnsupportedOperationException: CSV data source does not support array<string> data type.
例外情况应该是不言自明的。无法将数组写入
CSV
文件
您必须将其连接为单个字符串:
import org.apache.spark.sql.functions.concat_ws
val separator: String = ";" // Choose appropriate one in your case
df.withColumn("orgname", concat_ws(separator, $"orgname")).write.csv(...)
干得好,兄弟
import org.apache.spark.sql.functions.concat_ws
val separator: String = ";" // Choose appropriate one in your case
df.withColumn("orgname", concat_ws(separator, $"orgname")).write.csv(...)