Maven 是否有一种方法可以指定在驱动程序和执行程序上推送完整的jar文件夹?
是否有任何方法可以指定要推送到驱动程序和执行程序上的jar的完整文件夹路径,如Maven 是否有一种方法可以指定在驱动程序和执行程序上推送完整的jar文件夹?,maven,apache-spark,sbt,Maven,Apache Spark,Sbt,是否有任何方法可以指定要推送到驱动程序和执行程序上的jar的完整文件夹路径,如spark submit中的--jar,除了逗号分隔的jar名称和完整路径。但是,如果我们有太多的罐子要推到驱动者和执行者身上,这将是一项乏味的工作 问题:有没有办法指定在两个驱动程序上都推送完整的jar文件夹 遗嘱执行人呢 是的,你可以制作uber-jar,这是一个独立的发行版,里面有所有的附件 示例如果您使用的是maven,您可以使用mavenshadeplugin或assemblyplugin进行此操作。下面是一
spark submit
中的--jar
,除了逗号分隔的jar名称和完整路径。但是,如果我们有太多的罐子要推到驱动者和执行者身上,这将是一项乏味的工作
问题:有没有办法指定在两个驱动程序上都推送完整的jar文件夹
遗嘱执行人呢
是的,你可以制作uber-jar,这是一个独立的发行版,里面有所有的附件
示例如果您使用的是maven,您可以使用mavenshade
plugin或assembly
plugin
进行此操作。下面是一个例子
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.maventest</groupId>
<artifactId>mytest</artifactId>
<packaging>jar</packaging>
<version>1.0-SNAPSHOT</version>
<name>mytest</name>
<url>http://maven.apache.org</url>
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>3.8.1</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>commons-lang</groupId>
<artifactId>commons-lang</artifactId>
<version>2.3</version>
<scope>compile</scope>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
</execution>
</executions>
<configuration>
<finalName>uber-${artifactId}-${version}</finalName>
</configuration>
</plugin>
</plugins>
</build>
</project>
进一步阅读谷歌的文章:在纱线上运行spark您必须能够在
spark defaults.conf
配置文件中设置spark.warn.archive
或spark.warn.jars
spark.Thread.archive
用于分发存档文件,其中包含您需要的执行器上的所有罐子
spark.warn.jars
用于单独的罐子
您可以在中找到更多信息
spark-submit [PATH_TO_YOUR_UBER_JAR]/[YOUR_UBER_JAR].jar