Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark:如何设置代码的部署模式?_Apache Spark - Fatal编程技术网

Apache spark Spark:如何设置代码的部署模式?

Apache spark Spark:如何设置代码的部署模式?,apache-spark,Apache Spark,我知道可以在spark submit脚本上设置群集模式。但我想通过代码或可执行选项(如java-Dspark.submit.deploymode=cluster~~)在应用程序上进行设置 我想在群集模式下运行spark应用程序。如果不想使用spark submit命令,并且想使用自己的Java代码启动spark作业,则需要使用spark Java API,主要是org.apache.spark.launcher包: 下面的代码是从链接中提取出来的,并稍作修改 import org.apache

我知道可以在spark submit脚本上设置群集模式。但我想通过代码或可执行选项(如java-Dspark.submit.deploymode=cluster~~)在应用程序上进行设置


我想在群集模式下运行spark应用程序。

如果不想使用spark submit命令,并且想使用自己的Java代码启动spark作业,则需要使用spark Java API,主要是org.apache.spark.launcher包:

下面的代码是从链接中提取出来的,并稍作修改

import org.apache.spark.launcher.SparkAppHandle;
import org.apache.spark.launcher.SparkLauncher;

public class MyLauncher {
 public static void main(String[] args) throws Exception {
   SparkAppHandle handle = new SparkLauncher()
     .setAppResource("/my/app.jar")
     .setMainClass("my.spark.app.Main")
     .setMaster("XXX") // Master URL based on doc in [2]
     .setDeployMode("cluster")
     .setConf(SparkLauncher.DRIVER_MEMORY, "2g")
     .startApplication();
   // Use handle API to monitor / control application.
 }
}