Apache spark 为什么spark中需要两个不同的conf文件？

Spark中有两个配置文件

spark-defaults.conf

spark-env.sh

这两个文件之间有什么区别？ 我们可以同时使用同一种spark应用程序吗？

• spark env.sh：设置所有系统环境变量，如

  spark\u用户\u env

  spark\u HOME

  等。spark安装正常工作需要这些环境变量。spark-env.sh是一个shell脚本文件

• spark defaults.conf：此文件设置所有spark配置，例如

  spark.local.dir

  ，

  spark.warn.jars

  。这些配置是spark作业正常运行所必需的。以下是Spark的文档

bin/spark submit还将从中读取配置选项 conf/spark-defaults.conf，其中每一行由一个键和一个 由空格分隔的值。例如：

  spark.master            spark://5.6.7.8:7077
  spark.executor.memory   4g
  spark.eventLog.enabled  true
  spark.serializer        org.apache.spark.serializer.KryoSerializer Any values specified as

属性文件中的标志或标记将传递给应用程序 并与通过SparkConf指定的内容合并。属性集 直接在SparkConf上取最高优先级，然后传递标志 要spark submit或spark shell，请选择 spark-defaults.conf文件。一些配置键已重命名 从早期版本的Spark；在这种情况下，旧的密钥名 仍被接受，但优先级低于 更新的密钥

• spark env.sh：设置所有系统环境变量，如

  spark\u用户\u env

  spark\u HOME

  等。spark安装正常工作需要这些环境变量。spark-env.sh是一个shell脚本文件

• spark defaults.conf：此文件设置所有spark配置，例如

  spark.local.dir

  ，

  spark.warn.jars

  。这些配置是spark作业正常运行所必需的。以下是Spark的文档

bin/spark submit还将从中读取配置选项 conf/spark-defaults.conf，其中每一行由一个键和一个 由空格分隔的值。例如：

  spark.master            spark://5.6.7.8:7077
  spark.executor.memory   4g
  spark.eventLog.enabled  true
  spark.serializer        org.apache.spark.serializer.KryoSerializer Any values specified as

属性文件中的标志或标记将传递给应用程序 并与通过SparkConf指定的内容合并。属性集 直接在SparkConf上取最高优先级，然后传递标志 要spark submit或spark shell，请选择 spark-defaults.conf文件。一些配置键已重命名 从早期版本的Spark；在这种情况下，旧的密钥名 仍被接受，但优先级低于 更新的密钥

---

好吧，假设我想设置一个属性，它必须被我的所有spark作业使用。如果是这种情况，那么我需要使用哪个属性文件来设置该属性？它应该在spark-defaults下。confOk让我们假设我要设置一个必须由我的所有spark作业使用的属性。如果是这种情况，那么我需要使用哪个属性文件来设置该属性？它应该位于spark-defaults.conf下