Apache spark 使用带引号的字符串读取火花数据_Apache Spark_Apache Spark Sql

Apache spark 使用带引号的字符串读取火花数据

apache-spark

Apache spark 使用带引号的字符串读取火花数据,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我的csv数据文件如下所示每行都由回车符（'\r'）终止但某些文本值是多行字段，其换行符为行分隔符（'\n'）。如何使用spark数据源api选项来处理这些问题随着Spark 2.2.0增加了对多行CSV文件解析的支持。您可以使用以下命令读取多行csv： val df = spark.read .option("sep", ",") .option("quote", "") .option("multiLine", "true") .option("inferSchema"

我的csv数据文件如下所示每行都由回车符（'\r'）终止

但某些文本值是多行字段，其换行符为行分隔符（'\n'）。如何使用spark数据源api选项来处理这些问题

随着

Spark 2.2.0增加了对多行CSV文件解析的支持。您可以使用以下命令读取多行csv：

val df = spark.read
  .option("sep", ",")
  .option("quote", "")
  .option("multiLine", "true")
  .option("inferSchema", "true")
  .csv(file_name)

你检查过这个吗