使用拆分函数省略空字段-Spark Scala

使用拆分函数省略空字段-Spark Scala,scala,apache-spark,Scala,Apache Spark,我是一个与Spark和Scala世界互动的新手 我有一个包含以下数据的文件: 1.1|AGDT970HH|02|2011|N||||| 110000000000|0.00|0.00|0.00|1485976093.32| 110100000000|0.00|0.00|0.00|248871036.86| 110200000000|0.00|0.00|0.00|229610905.15| 110201000000|0.00|0.00|0.00|256660759.36| 110202000000|

我是一个与Spark和Scala世界互动的新手

我有一个包含以下数据的文件:

1.1|AGDT970HH|02|2011|N|||||
110000000000|0.00|0.00|0.00|1485976093.32|
110100000000|0.00|0.00|0.00|248871036.86|
110200000000|0.00|0.00|0.00|229610905.15|
110201000000|0.00|0.00|0.00|256660759.36|
110202000000|0.00|0.00|0.00|234105514.15|
110203000000|0.00|0.00|0.00|-261155368.36|
110300000000|0.00|0.00|0.00|280990.61|
与其他行相比,文件的第一行始终具有不同的布局

出于这个原因,我想对它进行不同的处理,因此我尝试获取第一行的值(包括空值):

但在创建myfirstRow字段时,它不包含空值:

它只保存包含值的值

有人知道如何保持这些空值吗?

您可以通过
val firstRow=fileToRead.first.split(“\\\\\”,-1)

val fileToRead = sc.textFile("FileName")
val firstRow = fileToRead.first.split("\\|")