Apache spark 如何用scala 2.12重建apache Livy

我使用的是Spark 3.1.1，它使用Scala 2.12，从中下载的预构建Livy使用Scala 2.11（解压后可以找到名为

repl_2.11-jars/

的文件夹）

参考Aliaksandr Sasnouskikh制作的，Livy需要重建，否则将抛出错误

{'msg'：'requirement failed:not find Livy REPL jars.}

，即使在后期会话中也是如此

在报告中，它提到：

默认情况下，Livy是根据ApacheSpark2.4.5构建的

如果我想重建Livy，我该如何更改它的spark版本

---

提前感谢。

您可以在maven中重建Livy passing spark-3.0配置文件，为spark 3创建自定义版本，例如：

git clone https://github.com/apache/incubator-livy.git && \
cd incubator-livy && \
mvn clean package -B -V -e \
        -Pspark-3.0 \
        -Pthriftserver \
        -DskipTests \
        -DskipITs \
        -Dmaven.javadoc.skip=true

此配置文件在pom.xml中定义，默认配置文件安装Spark 3.0.0。您可以将其更改为使用不同的spark版本

<profile>
      <id>spark-3.0</id>
      <activation>
        <property>
          <name>spark-3.0</name>
        </property>
      </activation>
      <properties>
        <spark.scala-2.12.version>3.0.0</spark.scala-2.12.version>
        <spark.scala-2.11.version>2.4.5</spark.scala-2.11.version>
        <spark.version>${spark.scala-2.11.version}</spark.version>
        <netty.spark-2.12.version>4.1.47.Final</netty.spark-2.12.version>
        <netty.spark-2.11.version>4.1.47.Final</netty.spark-2.11.version>
        <netty.version>${netty.spark-2.11.version}</netty.version>
        <java.version>1.8</java.version>
        <py4j.version>0.10.9</py4j.version>
        <json4s.spark-2.11.version>3.5.3</json4s.spark-2.11.version>
        <json4s.spark-2.12.version>3.6.6</json4s.spark-2.12.version>
        <json4s.version>${json4s.spark-2.11.version}</json4s.version>
        <spark.bin.download.url>
          https://archive.apache.org/dist/spark/spark-3.0.0/spark-3.0.0-bin-hadoop2.7.tgz
        </spark.bin.download.url>
        <spark.bin.name>spark-3.0.0-bin-hadoop2.7</spark.bin.name>
      </properties>
    </profile>

spark-3.0
spark-3.0
3.0.0
2.4.5
${spark.scala-2.11.version}
4.1.47.最终版本
4.1.47.最终版本
${netty.spark-2.11.version}
1.8
0.10.9
3.5.3
3.6.6
${json4s.spark-2.11.version}
https://archive.apache.org/dist/spark/spark-3.0.0/spark-3.0.0-bin-hadoop2.7.tgz
spark-3.0.0-bin-hadoop2.7

据我所知，Livy支持spark 3.0.x。但值得使用3.1.1进行测试，并让我们知道：）