Fatal编程技术网
  • scala/
  • Scala Spark&x2B；卡夫卡积分错误。NoClassDefFoundError:org/apache/spark/sql/internal/connector/SimpleTableProvider

Scala Spark&x2B；卡夫卡积分错误。NoClassDefFoundError:org/apache/spark/sql/internal/connector/SimpleTableProvider

scala apache-spark apache-kafka

Scala Spark&x2B；卡夫卡积分错误。NoClassDefFoundError:org/apache/spark/sql/internal/connector/SimpleTableProvider,scala,apache-spark,apache-kafka,Scala,Apache Spark,Apache Kafka,我正在使用卡夫卡2.5.0和Spark 3.0.0。我正试图将卡夫卡的一些数据导入spark。以下代码片段为我提供了一个erorr： spark.readStream.format("kafka").option("kafka.bootstrap.servers", "localhost:9092").option("subscribe", "topic1").load() 我得到的错误是 ja

我正在使用卡夫卡2.5.0和Spark 3.0.0。我正试图将卡夫卡的一些数据导入spark。以下代码片段为我提供了一个erorr：

spark.readStream.format("kafka").option("kafka.bootstrap.servers", "localhost:9092").option("subscribe", "topic1").load()
我得到的错误是

java.lang.NoClassDefFoundError: org/apache/spark/sql/internal/connector/SimpleTableProvider
此错误主要是由于spark kafka依赖项冲突造成的

如果还没有，您可以在maven存储库中检查支持scala的版本

如果错误仍在发生，则可以共享更多详细信息，如groupId、artifactId以及版本。

是否可以尝试运行--verbose选项并共享完整的日志。还是火花提交命令也可以？