Spark Scala读取CSV，数据中有逗号

我的

CSV

文件位于zip文件中，包含以下数据

"Potter, Jr",Harry,92.32,09/09/2018
 John,Williams,78,01/02/1992

我用spark scala

csv

reader阅读。如果我使用

.option('quote', '"')
.option('escape', '"')

我不会将固定数量的列作为输出。对于第1行，输出为5，第2行为4。所需的输出应仅返回4列。有没有办法把它读作

DF

或

RDD

谢谢，

---

Ash

对于给定的输入数据，我能够使用以下方法读取数据：

val input = spark.read.csv("input_file.csv")

这给了我一个有4列字符串的数据框。

检查这个

  val df = spark.read.csv("in/potter.txt").toDF("fname","lname","value","dt")
  df.show()

+----------+--------+-----+----------+
|     fname|   lname|value|        dt|
+----------+--------+-----+----------+
|Potter, Jr|   Harry|92.32|09/09/2018|
|      John|Williams|   78|01/02/1992|
+----------+--------+-----+----------+

---

csv是有效的。。您应该能够在不指定选项的情况下读取抱歉，我遗漏了一些内容，我没有将其作为直接的“CSV”文件读取。这是一个有多个CSV的zip文件，我需要将所有CSV制作成一个CSV，然后处理。