Maven:将Scala代码和Java代码一起构建到一个胖JAR中

Maven:将Scala代码和Java代码一起构建到一个胖JAR中,java,scala,maven,Java,Scala,Maven,我有一个Scala项目,我把它构建到一个胖罐子中。今天我需要向项目中添加一些Java类,但现在我的Maven构建失败了 我的项目结构(大致)如下所示: . ├── src │ └── main │ ├── resources │ │ └── Log4j.properties | ├── java │ │ └── com │ │ └── myorg │ │ └── myproject

我有一个Scala项目,我把它构建到一个胖罐子中。今天我需要向项目中添加一些Java类,但现在我的Maven构建失败了

我的项目结构(大致)如下所示:

.
├── src
│   └── main
│       ├── resources
│       │   └── Log4j.properties
|       ├── java
│       │   └── com
│       │       └── myorg
│       │           └── myproject
│       │               └── MyPublicJavaClass.java
│       └── scala
│           └── com
│               └── myorg
│                   └── myproject
│                       └── spark
│                           └── Main.scala
└── pom.xml
下面是我的POM文件的外观:

<?xml version="1.0"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <name>myproject</name>
  <url>http://maven.apache.org</url>

  <groupId>com.myorg</groupId>
  <artifactId>myproject</artifactId>
  <packaging>jar</packaging>
  <version>0.1.0-RELEASE</version>

  <properties>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
    <encoding>UTF-8</encoding>
    <scala.tools.version>2.11</scala.tools.version>
    <scala.version>2.11.8</scala.version>
    <spark.version>2.4.0</spark.version>
    <aws.sdk.version>1.11.553</aws.sdk.version>
  </properties>

  <build>
    <sourceDirectory>src/main/scala</sourceDirectory>
    <testSourceDirectory>src/test/scala</testSourceDirectory>
    <resources>
      <resource>
        <directory>src/main/resources</directory>
      </resource>
    </resources>
    <testResources>
      <testResource>
        <directory>src/test/resources</directory>
      </testResource>
    </testResources>

    <plugins>
      <!-- I added this plugin today to try and make it compile the Java code -->
      <plugin>
        <groupId>org.codehaus.mojo</groupId>
        <artifactId>build-helper-maven-plugin</artifactId>
        <version>3.0.0</version>
        <executions>
          <execution>
            <phase>generate-sources</phase>
            <configuration>
              <sources>
                <source>src/main/java</source>
              </sources>
            </configuration>
          </execution>
        </executions>
      </plugin>

      <!-- This compiles the Scala code -->
      <plugin>
        <groupId>org.scala-tools</groupId>
        <artifactId>maven-scala-plugin</artifactId>
        <version>2.15.2</version>
        <executions>
          <execution>
            <goals>
              <goal>compile</goal>
              <goal>testCompile</goal>
            </goals>
          </execution>
        </executions>
      </plugin>

      <!-- This builds the fat JAR -->
      <plugin>
        <artifactId>maven-assembly-plugin</artifactId>
        <configuration>
          <archive>
            <manifest>
              <mainClass>com.myorg.myproject.spark.Main</mainClass>
            </manifest>
          </archive>
          <descriptorRefs>
            <descriptorRef>jar-with-dependencies</descriptorRef>
          </descriptorRefs>
        </configuration>
        <executions>
          <execution>
            <id>make-assembly</id>
            <phase>package</phase>
            <goals>
              <goal>single</goal>
            </goals>
          </execution>
        </executions>
      </plugin>
    </plugins>
  </build>

  <dependencies>
    <dependency>
      <groupId>org.scala-lang</groupId>
      <artifactId>scala-library</artifactId>
      <version>${scala.version}</version>
      <scope>provided</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_${scala.tools.version}</artifactId>
      <version>${spark.version}</version>
      <scope>provided</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_${scala.tools.version}</artifactId>
      <version>${spark.version}</version>
      <scope>provided</scope>
    </dependency>
    <dependency>
      <groupId>com.amazonaws</groupId>
      <artifactId>aws-java-sdk-core</artifactId>
      <version>${aws.sdk.version}</version>
    </dependency>
    <dependency>
      <groupId>com.amazonaws</groupId>
      <artifactId>aws-java-sdk-dynamodb</artifactId>
      <version>${aws.sdk.version}</version>
    </dependency>
    <dependency>
      <groupId>com.amazon.emr</groupId>
      <artifactId>emr-dynamodb-hadoop</artifactId>
      <version>4.8.0</version>
    </dependency>
    <dependency>
      <groupId>com.github.scopt</groupId>
      <artifactId>scopt_${scala.tools.version}</artifactId>
      <version>3.7.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-scala</artifactId>
      <version>11.0</version>
      <type>pom</type>
    </dependency>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.8.2</version>
      <scope>test</scope>
    </dependency>
  </dependencies>
</project>

4.0.0
我的项目
http://maven.apache.org
com.myorg
我的项目
罐子
0.1.0版本
1.8
1.8
UTF-8
2.11
2.11.8
2.4.0
1.11.553
src/main/scala
src/test/scala
src/main/resources
src/测试/资源
org.codehaus.mojo
构建助手maven插件
3.0.0
生成源
src/main/java
org.scala-tools
maven scala插件
2.15.2
编译
测试编译
maven汇编插件
com.myorg.myproject.spark.Main
带有依赖项的jar
组装
包裹
单一的
org.scala-lang
scala图书馆
${scala.version}
假如
org.apache.spark
spark-core${scala.tools.version}
${spark.version}
假如
org.apache.spark
spark-sql{scala.tools.version}
${spark.version}
假如
亚马逊网站
aws java sdk核心
${aws.sdk.version}
亚马逊网站
aws java sdk dynamodb
${aws.sdk.version}
com.amazon.emr
emr dynamodb hadoop
4.8.0
com.github.scopt
scopt_${scala.tools.version}
3.7.1
org.apache.logging.log4j
log4j scala
11
聚甲醛
朱尼特
朱尼特
4.8.2
测试
在我添加Java类之前,以及今天的
buildhelperMaven插件
,maven能够毫无问题地构建这个项目。但是现在,我似乎没有正确配置这个插件,或者可能我没有使用正确的插件

我的Scala代码试图使用类型为
MyPublicJavaClass
的对象,因此现在我在Maven中看到的构建错误如下所示:

.
├── src
│   └── main
│       ├── resources
│       │   └── Log4j.properties
|       ├── java
│       │   └── com
│       │       └── myorg
│       │           └── myproject
│       │               └── MyPublicJavaClass.java
│       └── scala
│           └── com
│               └── myorg
│                   └── myproject
│                       └── spark
│                           └── Main.scala
└── pom.xml
[错误]~/src/main/scala/com/myorg/myproject/spark/main.scala:227:错误:找不到:键入MyPublicJavaClass

[错误]无法在项目myproject:wrap:org.apache.commons.exec.ExecuteException:进程退出,错误为:1(退出值:1)->[帮助1]


我认为,
buildhelpermaven插件
会告诉它在编译之前将Java代码的源目录添加到要生成的源列表中,但显然不是这样。如何修复此问题?

您正在使用一个非常旧的插件进行Scala编译(最新版本
2.15.2
已经发布)

我建议您首先升级到更新的插件,如(2019年5月11日的最新版本
4.0.2

然后您可以找到一个Scala/Java混合源代码的示例。在这种情况下,不需要使用
buildhelpermaven-plugin
,也不需要配置
sourceDirectory
testSourceDirectory
。用这个插件检查这个简单的
pom.xml
(我刚刚从我在本地重现问题时提供的示例中删除了未使用的依赖项):


4.0.0
我的项目
http://maven.apache.org
com.myorg
我的项目
罐子
0.1.0版本
1.8
1.8
UTF-8
2.11
2.11.8
net.alchim31.maven
scala maven插件
4.0.2
scala先编译
过程资源
添加源
编译
scala测试编译
过程测试资源
测试编译
maven汇编插件
com.myorg.myproject.spark.Main
带有依赖项的jar
组装
包裹
单一的
org.scala-lang
scala图书馆
${scala.version}
假如

Perfect,您推荐的三件事的组合成功了:(1)从(旧)maven scala插件切换到(新)scala maven插件,(2)删除build helper maven插件,以及(3)删除sourceDirectory、testSourceDirectory等标记。