Maven:将Scala代码和Java代码一起构建到一个胖JAR中
我有一个Scala项目,我把它构建到一个胖罐子中。今天我需要向项目中添加一些Java类,但现在我的Maven构建失败了 我的项目结构(大致)如下所示:Maven:将Scala代码和Java代码一起构建到一个胖JAR中,java,scala,maven,Java,Scala,Maven,我有一个Scala项目,我把它构建到一个胖罐子中。今天我需要向项目中添加一些Java类,但现在我的Maven构建失败了 我的项目结构(大致)如下所示: . ├── src │ └── main │ ├── resources │ │ └── Log4j.properties | ├── java │ │ └── com │ │ └── myorg │ │ └── myproject
.
├── src
│ └── main
│ ├── resources
│ │ └── Log4j.properties
| ├── java
│ │ └── com
│ │ └── myorg
│ │ └── myproject
│ │ └── MyPublicJavaClass.java
│ └── scala
│ └── com
│ └── myorg
│ └── myproject
│ └── spark
│ └── Main.scala
└── pom.xml
下面是我的POM文件的外观:
<?xml version="1.0"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
<modelVersion>4.0.0</modelVersion>
<name>myproject</name>
<url>http://maven.apache.org</url>
<groupId>com.myorg</groupId>
<artifactId>myproject</artifactId>
<packaging>jar</packaging>
<version>0.1.0-RELEASE</version>
<properties>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<encoding>UTF-8</encoding>
<scala.tools.version>2.11</scala.tools.version>
<scala.version>2.11.8</scala.version>
<spark.version>2.4.0</spark.version>
<aws.sdk.version>1.11.553</aws.sdk.version>
</properties>
<build>
<sourceDirectory>src/main/scala</sourceDirectory>
<testSourceDirectory>src/test/scala</testSourceDirectory>
<resources>
<resource>
<directory>src/main/resources</directory>
</resource>
</resources>
<testResources>
<testResource>
<directory>src/test/resources</directory>
</testResource>
</testResources>
<plugins>
<!-- I added this plugin today to try and make it compile the Java code -->
<plugin>
<groupId>org.codehaus.mojo</groupId>
<artifactId>build-helper-maven-plugin</artifactId>
<version>3.0.0</version>
<executions>
<execution>
<phase>generate-sources</phase>
<configuration>
<sources>
<source>src/main/java</source>
</sources>
</configuration>
</execution>
</executions>
</plugin>
<!-- This compiles the Scala code -->
<plugin>
<groupId>org.scala-tools</groupId>
<artifactId>maven-scala-plugin</artifactId>
<version>2.15.2</version>
<executions>
<execution>
<goals>
<goal>compile</goal>
<goal>testCompile</goal>
</goals>
</execution>
</executions>
</plugin>
<!-- This builds the fat JAR -->
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<configuration>
<archive>
<manifest>
<mainClass>com.myorg.myproject.spark.Main</mainClass>
</manifest>
</archive>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
<dependencies>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>${scala.version}</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_${scala.tools.version}</artifactId>
<version>${spark.version}</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_${scala.tools.version}</artifactId>
<version>${spark.version}</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>com.amazonaws</groupId>
<artifactId>aws-java-sdk-core</artifactId>
<version>${aws.sdk.version}</version>
</dependency>
<dependency>
<groupId>com.amazonaws</groupId>
<artifactId>aws-java-sdk-dynamodb</artifactId>
<version>${aws.sdk.version}</version>
</dependency>
<dependency>
<groupId>com.amazon.emr</groupId>
<artifactId>emr-dynamodb-hadoop</artifactId>
<version>4.8.0</version>
</dependency>
<dependency>
<groupId>com.github.scopt</groupId>
<artifactId>scopt_${scala.tools.version}</artifactId>
<version>3.7.1</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-scala</artifactId>
<version>11.0</version>
<type>pom</type>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.8.2</version>
<scope>test</scope>
</dependency>
</dependencies>
</project>
4.0.0
我的项目
http://maven.apache.org
com.myorg
我的项目
罐子
0.1.0版本
1.8
1.8
UTF-8
2.11
2.11.8
2.4.0
1.11.553
src/main/scala
src/test/scala
src/main/resources
src/测试/资源
org.codehaus.mojo
构建助手maven插件
3.0.0
生成源
src/main/java
org.scala-tools
maven scala插件
2.15.2
编译
测试编译
maven汇编插件
com.myorg.myproject.spark.Main
带有依赖项的jar
组装
包裹
单一的
org.scala-lang
scala图书馆
${scala.version}
假如
org.apache.spark
spark-core${scala.tools.version}
${spark.version}
假如
org.apache.spark
spark-sql{scala.tools.version}
${spark.version}
假如
亚马逊网站
aws java sdk核心
${aws.sdk.version}
亚马逊网站
aws java sdk dynamodb
${aws.sdk.version}
com.amazon.emr
emr dynamodb hadoop
4.8.0
com.github.scopt
scopt_${scala.tools.version}
3.7.1
org.apache.logging.log4j
log4j scala
11
聚甲醛
朱尼特
朱尼特
4.8.2
测试
在我添加Java类之前,以及今天的buildhelperMaven插件
,maven能够毫无问题地构建这个项目。但是现在,我似乎没有正确配置这个插件,或者可能我没有使用正确的插件
我的Scala代码试图使用类型为MyPublicJavaClass
的对象,因此现在我在Maven中看到的构建错误如下所示:
.
├── src
│ └── main
│ ├── resources
│ │ └── Log4j.properties
| ├── java
│ │ └── com
│ │ └── myorg
│ │ └── myproject
│ │ └── MyPublicJavaClass.java
│ └── scala
│ └── com
│ └── myorg
│ └── myproject
│ └── spark
│ └── Main.scala
└── pom.xml
[错误]~/src/main/scala/com/myorg/myproject/spark/main.scala:227:错误:找不到:键入MyPublicJavaClass
[错误]无法在项目myproject:wrap:org.apache.commons.exec.ExecuteException:进程退出,错误为:1(退出值:1)->[帮助1]
我认为,
buildhelpermaven插件
会告诉它在编译之前将Java代码的源目录添加到要生成的源列表中,但显然不是这样。如何修复此问题?您正在使用一个非常旧的插件进行Scala编译(最新版本2.15.2
已经发布)
我建议您首先升级到更新的插件,如(2019年5月11日的最新版本4.0.2
)
然后您可以找到一个Scala/Java混合源代码的示例。在这种情况下,不需要使用buildhelpermaven-plugin
,也不需要配置sourceDirectory
和testSourceDirectory
。用这个插件检查这个简单的pom.xml
(我刚刚从我在本地重现问题时提供的示例中删除了未使用的依赖项):
4.0.0
我的项目
http://maven.apache.org
com.myorg
我的项目
罐子
0.1.0版本
1.8
1.8
UTF-8
2.11
2.11.8
net.alchim31.maven
scala maven插件
4.0.2
scala先编译
过程资源
添加源
编译
scala测试编译
过程测试资源
测试编译
maven汇编插件
com.myorg.myproject.spark.Main
带有依赖项的jar
组装
包裹
单一的
org.scala-lang
scala图书馆
${scala.version}
假如
Perfect,您推荐的三件事的组合成功了:(1)从(旧)maven scala插件切换到(新)scala maven插件,(2)删除build helper maven插件,以及(3)删除sourceDirectory、testSourceDirectory等标记。