Apache spark org.apache.spark.streaming.kafka.KafkaUtils的依赖项

我正在尝试将spark streaming与卡夫卡结合起来。我无法解析对

org.apache.spark.streaming.kafka.KafkaUtils

的依赖关系。下面是我的build.sbt：

name := "StreamingTest"

version := "1.0"

organization := "com.sundogsoftware"

scalaVersion := "2.12.10"

libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "3.0.0-preview2" % "provided",
"org.apache.spark" %% "spark-streaming-kafka-0-10" % "3.0.0-preview2",
"org.apache.spark" %% "spark-sql" % "3.0.0-preview2",
"org.apache.spark" %% "spark-streaming" % "3.0.0-preview2" % "provided",
"org.apache.kafka" %% "kafka" % "2.0.0"

)

我在项目中使用以下导入：

import org.apache.spark.{SparkConf, SparkContext, sql}
import org.apache.spark.sql.{SQLContext, SparkSession}
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.dstream.{DStream, InputDStream}
import org.apache.spark.streaming.kafka.KafkaUtils
import kafka.serializer.StringDecoder

---

除了

org.apache.spark.streaming.kafka.KafkaUtils

之外，所有依赖项都已解决。我正在使用spark版本3.0.0-preview2和scala版本2.12.10。

按照我删除的方式，您不应该导入

org.apache.kafka“%%”kafka。但我仍然在import语句中遇到错误（对象kafka不是包org.apache.spark.streaming的成员），因为它不是。请参见下面的答案，您不应该导入
org.apache.kafka“%%”kafka
，因为我已经删除了它。但我仍然在import语句中遇到错误（对象kafka不是包org.apache.spark.streaming的成员），因为它不是。见下面的答案