使用拆分函数省略空字段-Spark Scala
我是一个与Spark和Scala世界互动的新手 我有一个包含以下数据的文件:使用拆分函数省略空字段-Spark Scala,scala,apache-spark,Scala,Apache Spark,我是一个与Spark和Scala世界互动的新手 我有一个包含以下数据的文件: 1.1|AGDT970HH|02|2011|N||||| 110000000000|0.00|0.00|0.00|1485976093.32| 110100000000|0.00|0.00|0.00|248871036.86| 110200000000|0.00|0.00|0.00|229610905.15| 110201000000|0.00|0.00|0.00|256660759.36| 110202000000|
1.1|AGDT970HH|02|2011|N|||||
110000000000|0.00|0.00|0.00|1485976093.32|
110100000000|0.00|0.00|0.00|248871036.86|
110200000000|0.00|0.00|0.00|229610905.15|
110201000000|0.00|0.00|0.00|256660759.36|
110202000000|0.00|0.00|0.00|234105514.15|
110203000000|0.00|0.00|0.00|-261155368.36|
110300000000|0.00|0.00|0.00|280990.61|
与其他行相比,文件的第一行始终具有不同的布局
出于这个原因,我想对它进行不同的处理,因此我尝试获取第一行的值(包括空值):
但在创建myfirstRow字段时,它不包含空值:
它只保存包含值的值
有人知道如何保持这些空值吗?您可以通过
val firstRow=fileToRead.first.split(“\\\\\”,-1)
val fileToRead = sc.textFile("FileName")
val firstRow = fileToRead.first.split("\\|")