Apache spark 关于rddToDataFrameHolder的Spark sql

我已经编写了一个jar在Spark上运行，我的项目的include jar是

我在hadoop上的spark是spark-2.0.2-bin-hadoop 2.7 当我运行我的罐子 版本冲突吗？ 下面是我的代码

case class VehicleInfo(vin: String, vehicle_license: String, sales_id: String)

对象更改状态{ def main（参数：数组[字符串]）：单位={

//txt path in hdfs
val path = args(0)

val sparkConf = new SparkConf().setAppName("change_status")
val sc = new SparkContext(sparkConf)
val sqlContext = new SQLContext(sc)

import sqlContext.implicits._

val input = sc.textFile(path)
  .map(line => line.split("\\|"))
  .map(line => VehicleInfo(line(0), line(1), line(2)))
  .toDF()

input.registerTempTable("vehicle_info")

val result_df = sqlContext.sql("select * from vehicle_info limit 10")

result_df.show()

} }

---

我的代码有什么问题？

问题很可能是您运行的是Spark 2.0.2，但编译的是Spark 1.5.1。通常，Spark在兼容性方面非常好，即使是在二进制级别。然而，这跨越了主要版本，必然会有突破性的变化。所以，我要说的是只针对2.0.2进行编译