Apache spark Spark:如何设置代码的部署模式?
我知道可以在spark submit脚本上设置群集模式。但我想通过代码或可执行选项(如java-Dspark.submit.deploymode=cluster~~)在应用程序上进行设置Apache spark Spark:如何设置代码的部署模式?,apache-spark,Apache Spark,我知道可以在spark submit脚本上设置群集模式。但我想通过代码或可执行选项(如java-Dspark.submit.deploymode=cluster~~)在应用程序上进行设置 我想在群集模式下运行spark应用程序。如果不想使用spark submit命令,并且想使用自己的Java代码启动spark作业,则需要使用spark Java API,主要是org.apache.spark.launcher包: 下面的代码是从链接中提取出来的,并稍作修改 import org.apache
我想在群集模式下运行spark应用程序。如果不想使用spark submit命令,并且想使用自己的Java代码启动spark作业,则需要使用spark Java API,主要是org.apache.spark.launcher包: 下面的代码是从链接中提取出来的,并稍作修改
import org.apache.spark.launcher.SparkAppHandle;
import org.apache.spark.launcher.SparkLauncher;
public class MyLauncher {
public static void main(String[] args) throws Exception {
SparkAppHandle handle = new SparkLauncher()
.setAppResource("/my/app.jar")
.setMainClass("my.spark.app.Main")
.setMaster("XXX") // Master URL based on doc in [2]
.setDeployMode("cluster")
.setConf(SparkLauncher.DRIVER_MEMORY, "2g")
.startApplication();
// Use handle API to monitor / control application.
}
}