Apache spark 如何在SparkLauncher中设置驱动程序java选项

使用

spark submit

将spark应用程序提交给纱线时，我可以通过

--driver java options

将java选项传递给驱动程序，例如：

spark-submit --driver-java-options "-Dlog4j.configuration=file:///conf/log4j.properties" ...

---

我如何在通过提交时达到同样的效果？特别是，有没有办法用Spark 1.4实现它？

不熟悉

SparkLauncher

，但从代码看，似乎可以通过

setConf（）

传递配置。在本例中，如果您添加属性

SparkLauncher.DRIVER\u EXTRA\u JAVA\u OPTIONS

，则应具有相同的效果

比如说

Process spark = new SparkLauncher()
     .setAppResource("/my/app.jar")
     .setMainClass("my.spark.app.Main")
     .setMaster("local[*]")
     .setConf(SparkLauncher.DRIVER_EXTRA_JAVA_OPTIONS, "-Dmy.property=someval")
     .launch();

---

不熟悉

SparkLauncher

，但通过查看代码，您可以使用

setConf（）

传递配置。在本例中，如果您添加属性

SparkLauncher.DRIVER\u EXTRA\u JAVA\u OPTIONS

，则应具有相同的效果

比如说

Process spark = new SparkLauncher()
     .setAppResource("/my/app.jar")
     .setMainClass("my.spark.app.Main")
     .setMaster("local[*]")
     .setConf(SparkLauncher.DRIVER_EXTRA_JAVA_OPTIONS, "-Dmy.property=someval")
     .launch();

---

你确定？从“注意：在客户端模式下，此配置不能直接通过应用程序中的SparkConf设置，因为驱动程序JVM已在该点启动。请通过--driver java options命令行选项或在默认属性文件中设置。”我不认为问题是指客户端模式，SparkLauncher的tbh功能可能在版本1.4和2.1之间发生了变化（您的评论中链接的版本），您确定吗？从“注意：在客户端模式下，此配置不能直接通过应用程序中的SparkConf设置，因为驱动程序JVM已在该点启动。请通过--driver java options命令行选项或在默认属性文件中设置。”我不认为问题是指客户端模式，SparkLauncher的tbh功能可能在1.4版和2.1版之间发生了变化（您评论中链接的版本）