Apache spark 为什么结构化流式传输会失败；java.lang.CompatibleClassChangeError:实现类“；？

我想用PySpark运行一个使用结构化流的Spark应用程序

我使用Spark 2.2和Kafka 0.10版本

我失败了，出现以下错误：

java.lang.CompatibleClassChangeError:实现类

spark submit

命令使用如下：

/bin/spark-submit \
  --packages org.apache.spark:spark-streaming-kafka-0-10_2.11:2.2.0 \
  --master local[*] \
  /home/umar/structured_streaming.py localhost:2181 fortesting

structured_streaming.py

code:

从pyspark.sql导入SparkSession
spark=SparkSession.builder.appName（“StructuredStreaming”）.config（“spark.driver.memory”，“2g”）.config（“spark.executor.memory”，“2g”）.getOrCreate（）
raw_DF=spark.readStream.format（“kafka”）.option（“kafka.bootstrap.servers”，“localhost:2181”）.option（“subscribe”，“fortesting”）.load（）
values=raw_DF.selectExpr（“转换（值为字符串）”）.AS[STRING]
values.writeStream.trigger（ProcessingTime（“5秒”））.outputMode（“append”）.format（“控制台”）.start（）.awaitTermination（）

请参考

您使用的是spark-streaming-kafka-0-10，目前不支持python。

您需要结构化流媒体：

--packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.2.0

---

还要确保您使用的Scala（上面的2.11）和Spark（2.2.0）的版本与您在群集上使用的版本相同。

确保这些版本与Spark群集的版本相同是非常关键的。非常感谢你的建议！