Hadoop 在spark submit执行时重写core-site.xml属性值

执行spark submit时是否有方法覆盖核心站点属性值

---

我可以使用spark-env.sh中的HADOOP_CONF_DIR变量指向一个新的核心站点文件，但我只想覆盖几个值，以便为每个spark作业使用不同的存储帐户

找到了我自己问题的答案

通过将“spark.hadoop”预先固定到属性键，然后提交给sparkconf，可以覆盖与hadoop相关的配置

i、 e。 spark提交--sparkconf spark.hadoop.io.file.buffer.size 12952

请参见此处的源代码：