Apache spark Spark结构化流式批处理

我正在运行Spark结构化编程中的批处理。下面的代码片段抛出错误，表示“kafka不是有效的Spark SQL数据源；”。我使用的版本是-->spark-sql-kafka-0-10_2.10。谢谢你的帮助。谢谢

Dataset df=spark
.读（）
.格式（“卡夫卡”）
.option（“kafka.bootstrap.servers”，“****”）
.选项（“订阅模式”、“测试。*”）
.选项（“起始偏移量”、“最早”）
.选项（“结束补偿”、“最新”）
.load（）；

线程“main”org.apache.spark.sql.AnalysisException中的异常：kafka不是有效的spark sql数据源。；

---

使用

spark submit

机制并传递

-jars spark-sql-kafka-0-10_2.11-2.1.jar

---

根据您自己的情况调整该库中卡夫卡、scala和spark的版本

我也有同样的问题，像我一样，你也在使用read而不是readStream

---

将

spark.read（）

更改为

spark.readStream

对我来说效果很好。

尝试使用

sql-kafka-0-10_2.11

，而不是

spark-sql-kafka-0-10_2.10

。您使用的是什么spark版本？如何执行上述代码？是在火花壳中还是作为火花应用的一部分？如何执行Spark应用程序？Jacek，我使用Spark 2.1.0版本。我现在不使用spark shell。我只是从eclipse运行主类。