Apache spark 如何在离线环境下编译Spark

我有两台机器安装了相同的操作系统（RedHat 6.5 64位），但硬件配置不同。机器1（表示为

M1

）具有网络访问权限，而机器2（表示为

M2

）没有网络访问权限

M2

具有更强大的硬件（例如，更多的CPU核和内存）。现在我想在

M2

中设置

Spark

环境

我已经从github官方存储库下载了

spark-2.0.0-preview

。我试着编译它，但由于没有网络访问，它不起作用。在谷歌搜索之后，我找到了。因此，我转向

M1

来编译

spark-2.0.0-preview

包。编译命令是

/build/mvn-DskipTests clean-package

。它显示

构建成功

。然后我将整个

spark-2.0.0-preview

目录和

M1

中的

~/.m2/*

复制到

m2

中相应的位置

在

M2

中，我可以运行

/bin/运行示例SparkPi

，我认为

M1

中的内置库也可以在

M2

中正常运行。但是，当我运行命令

/build/mvn-DskipTests clean package

尝试在

M2

中构建本地化库时，它显示了一个错误：

    [info] Error occurred during initialization of VM
    [info] java.lang.Error: Properties init: Could not determine current working directory.
    [info]  at java.lang.System.initProperties(Native Method)
    [info]  at java.lang.System.initializeSystemClass(System.java:1166)
    [info] 
    [error] Compile failed at May 19, 2016 1:43:09 AM [0.425s]

我意识到如果命令中的

clean

导致问题。

clean

意味着

mvn

将在上一次编译期间删除临时文件。因此，我尝试了另一个命令

/build/mvn-DskipTests-package

。但错误仍然存在

我有两个问题：

M1

中内置的

spark-2.0.0-preview

库是否适用于

M2

编译

Spark

时，是否有任何编译命令可以保留所有临时文件？因此，我们可以简单地将所有文件复制到另一台机器中以重用它们