如何在spark submit命令中将多个-D参数传递给驱动程序java选项
我正在使用java方法运行spark submit命令,即如何在spark submit命令中将多个-D参数传递给驱动程序java选项,java,command-line,apache-spark-2.0,Java,Command Line,Apache Spark 2.0,我正在使用java方法运行spark submit命令,即Runtime.getRunTime().exec(“”)。 spark submit命令类似于: spark-submit \ --driver.java.options "-Dapp.name=abc -Dapp.id=123" \ --class com.abc.test.AppLauncher \ Spark-App.jar \ <Other required application parameters> spa
Runtime.getRunTime().exec(“”)。
spark submit命令类似于:
spark-submit \
--driver.java.options "-Dapp.name=abc -Dapp.id=123" \
--class com.abc.test.AppLauncher \
Spark-App.jar \
<Other required application parameters>
spark提交\
--driver.java.options“-Dapp.name=abc-Dapp.id=123”\
--类com.abc.test.AppLauncher\
Spark-App.jar\
如果我直接从unix终端执行上面的命令,那么这个命令工作得非常好,它位于jar所在的目录位置,但是
当我从Runtime.getRunTime().exec(“”)运行相同的命令时;
它给出了以下错误:
无法识别的选项:-Dapp.id=123
有人能帮我解决这个问题吗
我尝试了以下选项,但不起作用:
--conf“spark.driver.extraJavaOptions=-Dapp.name=abc-Dapp.id=123”
--conf“spark.executor.extraJavaOptions=-Dapp.name=abc-Dapp.id=123”