Apache spark 使用spark submit运行spark作业时出现InvalidClassException

我正在尝试运行spark作业，它基本上在cassandra表中加载数据。 但它给出了以下错误

java.io.InvalidClassException： com.datastax.spark.connector.rdd.CassandraRDD；本地类 不兼容：stream classdesc serialVersionUID=8438672869923844256， 本地类serialVersionUID=-8421059671969407806

我有三个spark节点，我使用下面的脚本来运行它

spark submit--class test.TestChannel--masterspark://ubuntu:7077 --部署模式客户端——jars/home/user/BigData/jars/spark-cassandra-connector_2.11-2.0.0-RC1.jar，/home/user/BigData/jars/spark-cassandra-connector-java_2.10-1.6.0-M1.jar /home/user/BigData/SparkJobs/testchannelsparksubmit.jar /主页/用户/数据/频道\u 2017年6月30日.csv

---

此外，我还在同一路径上的工作节点上复制了与cassandra相关的JAR。

您的集群中有混合版本的SCC。本地jar有一个CassandraRDD定义，远程jar有不同的版本。强烈建议不要将JAR复制到spark worker目录中，因为很容易犯这种错误。使用

--packages

命令并允许spark分发您的资源要简单得多

/home/user/BigData/jars/spark-cassandra-connector_2.11-2.0.0-RC1.jar,/home/user/BigData/jars/spark-cassandra-connector-java_2.10-1.6.0-M1.jar

---

最有可能是罪魁祸首，因为您不仅组合了两个不同版本的连接器，它们也是两个不同版本的Spark。在1.6.0之后，所有“java”模块都被合并到核心模块中，因此不需要-java工件。此外，RC1不是连接器的发布版本（候选发布版本1），您应该使用2.0.2，这是截至本文的最新版本。

我尝试使用--package和2.0.2版本。但它给出的错误--“url处的服务器访问错误（javax.net.ssl.SSLException:java.lang.RuntimeException:意外错误：java.security.invalidalgorithParameterException:trustAnchors参数必须为非空）”，听起来像是maven配置错误，您必须确保正确设置配置。