使用spark scala读取列值为空的CSV文件时出错

使用spark scala读取列值为空的CSV文件时出错,scala,Scala,我试图使用spark Scala分析CSV文件,但问题是我的CSV文件包含的列也为空值,因此在从CSV文件读取数据时,我得到的错误为java.lang.ArrayIndexOutOfBoundException:12 我在CSV文件中的总列数为13,但有一列包含空值。请在下面找到我的代码片段附件。提前感谢我建议使用databricks CSV库进行此操作。请在下面使用Scala 2.11的maven依赖项 <!-- https://mvnrepository.com/artifact/co

我试图使用spark Scala分析CSV文件,但问题是我的CSV文件包含的列也为空值,因此在从CSV文件读取数据时,我得到的错误为java.lang.ArrayIndexOutOfBoundException:12


我在CSV文件中的总列数为13,但有一列包含空值。请在下面找到我的代码片段附件。提前感谢

我建议使用databricks CSV库进行此操作。请在下面使用Scala 2.11的maven依赖项

<!-- https://mvnrepository.com/artifact/com.databricks/spark-csv_2.11 -->
<dependency>
    <groupId>com.databricks</groupId>
    <artifactId>spark-csv_2.11</artifactId>
    <version>1.0.3</version>
</dependency>

参考资料:

欢迎来到StackOverflow。代码和错误消息的屏幕图像没有将代码和错误文本粘贴到问题中那么有用。无法将图像中的文本复制并粘贴到开发环境中进行验证和测试。
import org.apache.spark.sql.SQLContext

val sqlContext = new SQLContext(sc)
val df = sqlContext.read
    .format("com.databricks.spark.csv")
    .option("header", "true") // Use first line of all files as header
    .option("inferSchema", "true") // Automatically infer data types
    .load("cars.csv")