Scala使用编码器将CSV读入数据帧

Scala使用编码器将CSV读入数据帧,scala,csv,parsing,apache-spark,encoder,Scala,Csv,Parsing,Apache Spark,Encoder,我试图使用编码器将csv文件读入数据帧,但遇到了一些问题。该文件具有以下格式: 在进行第一次录入和相应录入时: 92,612008-08-01T14:45:37Z,90,13,“http://svnbook.red-bean.com/“>具有Subversion的版本控制一般来说是一个非常好的源代码控制资源。但不是特定于TurtoiseSVN。” 它遗漏了整个第二段。以下是我解析csv的步骤: case class tit(Id:Int,OwnerUserId:Int,CreationDate

我试图使用编码器将csv文件读入数据帧,但遇到了一些问题。该文件具有以下格式:

在进行第一次录入和相应录入时:

92,612008-08-01T14:45:37Z,90,13,“http://svnbook.red-bean.com/“>具有Subversion的版本控制一般来说是一个非常好的源代码控制资源。但不是特定于TurtoiseSVN。

它遗漏了整个第二段。以下是我解析csv的步骤:

case class tit(Id:Int,OwnerUserId:Int,CreationDate:String,ParentID:Int,Score:Int,Body:String)

val schema=Encoders.product[tit].schema

val df=spark.read.schema(schema).csv(fileName)

尝试添加
.option(“multiLine”,true)
以读取CSV,但这可能不是没有问题的

或尝试将输入转换为每条记录一行(使用\n字符作为行分隔符)