Apache Spark:Spark提交导致java.lang.CompatibleClassChangeError异常

我是apache spark的新手，正在尝试使用它。我已经解包了spark-1.1.0-bin-hadoop2.3，因为它是预构建的版本，所以我不必再次构建它

接下来我安装了maven，在PATH变量中配置了maven

然后，我创建了一个类似于和的独立java应用程序，并使用maven和以下命令运行它：

$ mvn package
$ mvn exec:java -Dexec.mainClass="SimpleApp"

它工作得很好，我也得到了输出

然后我尝试使用spark submit实用程序运行应用程序，并运行以下命令

$ mvn package
$ YOUR_SPARK_HOME/bin/spark-submit --class "SimpleApp" --master local[4] target/simple-project-1.0.jar

尽管第一个命令构建得非常完美，但运行第二个命令会产生以下错误：

 Exception in thread "main" java.lang.IncompatibleClassChangeError: class SimpleApp$1 has interface org.apache.spark.api.java.function.Function as super class
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:800)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
    at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    at SimpleApp.main(SimpleApp.java:17)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:328)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:75)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

下面是Java应用程序的pom.xml

<project  xmlns="http://maven.apache.org/POM/4.0.0" 
 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
 xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 
 http://maven.apache.org/xsd/maven-4.0.0.xsd">
      <groupId>edu.berkeley</groupId>
      <artifactId>simple-project</artifactId>
      <modelVersion>4.0.0</modelVersion>
      <name>Simple Project</name>
      <packaging>jar</packaging>
      <version>1.0</version>
      <repositories>
         <repository>
            <id>Akka repository</id>
            <url>http://repo.akka.io/releases</url>
         </repository>
      </repositories>
      <dependencies>
          <dependency> <!-- Spark dependency -->
              <groupId>org.apache.spark</groupId>
              <artifactId>spark-core_2.10</artifactId>
              <version>1.1.0</version>
          </dependency>
       </dependencies>
  </project>

伯克利教育学院
简单项目
4.0.0
简单项目
罐子
1
阿克卡存储库
http://repo.akka.io/releases
org.apache.spark
spark-core_2.10
1.1.0

请帮助我找到问题的原因和解决方法。我是不是走错了一步

问候,，

---

Subhankar

我遇到了一个类似的问题，但版本为0.9.1

<version>0.9.1</version>

返回项目目录并运行

mvn clean package

这将再次获取依赖项并重建jar文件

cd ~/.m2/repository 
cd org/apache
rm -rf ./spark

mvn clean package