Apache spark “线程中的异常”;“主要”;java.lang.NoClassDefFoundError:org/apache/kafka/clients/consumer/consumer

Apache spark “线程中的异常”;“主要”;java.lang.NoClassDefFoundError:org/apache/kafka/clients/consumer/consumer,apache-spark,apache-kafka,spark-streaming,Apache Spark,Apache Kafka,Spark Streaming,我对Spark和Kafka还不熟悉,现在正在学习。我正在尝试将Kafka与Spark集成,我通过eclipse成功地执行了该程序。 当我尝试使用Spark Submit时,出现以下错误: 线程“main”java.lang.NoClassDefFoundError中出现异常:org/apache/kafka/clients/consumer/consumer 我的构建内容: name := "spark_streaming" version := "0.0.1" scalaVersion :=

我对Spark和Kafka还不熟悉,现在正在学习。我正在尝试将Kafka与Spark集成,我通过eclipse成功地执行了该程序。 当我尝试使用Spark Submit时,出现以下错误:

线程“main”java.lang.NoClassDefFoundError中出现异常:org/apache/kafka/clients/consumer/consumer

我的构建内容:

name := "spark_streaming"
version := "0.0.1"
scalaVersion := "2.11.8"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "2.1.1",
"org.apache.spark" %% "spark-sql" % "2.1.1",
"org.apache.spark" %% "spark-mllib" % "2.1.1",
"org.apache.spark" %% "spark-hive" % "2.1.1",
"org.apache.spark" %% "spark-streaming" % "2.1.1" % "provided",
"org.apache.kafka" %% "kafka" % "0.11.0.0",
"org.apache.spark" %% "spark-streaming-kafka-0-10" % "2.1.1",
"org.apache.spark" %% "spark-sql-kafka-0-10" % "2.1.1",
"org.apache.kafka" % "kafka-clients" % "0.11.0.0",
"org.apache.spark" %% "spark-streaming-kafka-assembly" % "1.5.2"
)

请运行“jar-tvf”命令并检查包的内容,看看Consumer类是否可用?我遇到了一个类似的问题,结果我的jar文件被破坏了。我在jar文件中找不到这个包。我能够在依赖项jar中看到这个类。我可以知道你是怎么解决这个问题的吗?谢谢。在我的情况下,我发现这个罐子是腐败的,因为“jar-tvf”不起作用。因此,我只是重建了jar,然后我可以看到最初丢失的类(NoClassDefFoundError)。在这之后,我的程序成功了。