Apache spark 在spark群集中配置主节点

提前道歉，因为我是新手。我已经在独立模式下创建了一个包含4个工作进程的spark群集，在成功配置工作进程属性之后，我想知道如何配置主进程属性

我正在编写一个应用程序，并使用SparkSession.builder将其连接到集群（我不想使用spark submit提交）

我知道可以在

conf/spark env.sh

文件中配置WORKER，并且可以设置参数，例如“spark\u WORKER\u MEMORY”和“spark\u WORKER\u CORES”

我的问题是：如何配置主机的属性？因为此文件中没有“SPARK_MASTER_CORES”或“SPARK_MASTER_MEMORY”

我曾考虑在

spark defaults.conf

文件中设置此选项，但它似乎只用于spark提交

我曾考虑在应用程序中使用

SparkConf（）.set（“spark.driver.cores”，“XX”）

设置它，但这只指定了此应用程序要使用的内核数

任何帮助都将不胜感激

---

谢谢。

设置Spark主节点（驱动程序）和Spark工作节点配置的三种方法。我将展示设置主节点内存的示例。可以找到其他设置

1-通过SpackConf类编程

例如：

new SparkConf().set("spark.driver.memory","8g")

2-使用Spark Submit：确保在执行Spark Submit时，不要在代码中设置相同的配置（编程方式与1类似）。如果您已经以编程方式配置了设置，则spark submit中提到的与（1）重叠的每个作业配置都将被忽略

例如：

spark-submit --driver-memory 8g

spark.driver.memory     8g   

3-通过Spark-defaults.conf： 如果未设置上述任何设置，则此设置将为默认设置

例如：

spark-submit --driver-memory 8g

spark.driver.memory     8g   

---

如果您不想使用spark submit，您打算如何将作业提交到群集？我的脚本位于连接到spark群集的jupyter笔记本中。感谢您的回复。对于方法3，这是否意味着当我使用

sbin/start master.sh

启动spark时，主节点将有8g内存？或者“spark defaults.conf”文件仅在执行spark submit时读取？