Apache spark Spark application override-site.xml配置参数

提交Spark应用程序时，我需要覆盖

warn site.xml

中的一个纱线配置参数。我可以将其作为额外参数传递给spark submit吗

我要覆盖的参数是

warn.nodemanager.vmem check enabled

您可以在使用spark submit提交作业时使用--conf

--conf "yarn.nodemanager.vmem-check-enabled"

或者您也可以在程序内部使用代码设置为

SparkSession.conf.set

从医生那里

Spark应用程序的配置。用来点燃各种火花 参数作为键值对

大多数情况下，您会使用新的 SparkConf（），它将从任何spark.*Java系统加载值 也可以在应用程序中设置属性。在本例中，参数 直接在SparkConf对象上设置优先于系统 财产

对于单元测试，还可以调用new SparkConf（false）跳过加载 外部设置，并获得相同的配置，无论 系统属性为

此类中的所有setter方法都支持链接。比如你 可以编写新的SparkConf（）.setMaster（“本地”）.setAppName（“我的应用”）

---

这起作用了。我是否可以将其包含在

spark defaults.conf

文件中，而不是将其传递到

spark submit

？如果spark-defaults.conf文件本身读取的spark/conf/目录中，则不需要spark-defaults.conf文件来传递spark submit