Spark scala在一个jar中具有依赖项
我有一个Scala Spark应用程序,我想使用maven为其创建具有依赖项的jar 我正在使用maven汇编插件Spark scala在一个jar中具有依赖项,scala,maven,apache-spark,Scala,Maven,Apache Spark,我有一个Scala Spark应用程序,我想使用maven为其创建具有依赖项的jar 我正在使用maven汇编插件 <plugin> <artifactId>maven-assembly-plugin</artifactId> <version>2.4</version> <configuration>
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<version>2.4</version>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
maven汇编插件
2.4
带有依赖项的jar
组装
包裹
单一的
但是,当我使用Spark submit命令运行我的应用程序时,我仍然得到
java.lang.NoClassDefFoundError
。当我使用--jars
选项运行它并为依赖项jar提供路径时,它运行良好。如果我遗漏了什么,请告诉我。谢谢配置看起来不错。
尝试删除以前的应用程序jar并运行“mvn package”命令来创建一个新的应用程序jar。是否使用名为“jar with dependencies”的jar?(我们永远不知道)缺少哪些依赖项,能否显示您的依赖项?抱歉。我的错。我错误地将依赖范围指定为“提供”。因此,在删除范围后,我的jar工作正常。谢谢