Apache spark 在spark submit命令行上设置hadoop配置值

我们希望设置来自代码的

aws

参数，这些参数将通过

SparkContext

完成：

sc.hadoopConfiguration.set("fs.s3a.access.key", vault.user)
sc.hadoopConfiguration.set("fs.s3a.secret.key", vault.key)

但是，我们有一个定制的Spark launcher框架，它要求通过

--conf

参数将所有定制的Spark配置发送到

Spark submit

命令行

有没有办法“通知”SparkContext将

--conf

值设置为

hadoopConfiguration

，而不是其常规

SparkConf

？寻找类似于

spark-submit --conf hadoop.fs.s3a.access.key $vault.user --conf hadoop.fs.s3a.access.key $vault.key

或

---

您需要在命令行（或

SparkConf

object）中将Hadoop配置前缀为

spark.Hadoop.

。例如：

spark.hadoop.fs.s3a.access.key=value

---

spark.hadoop.fs.s3a.access.key=value

@vanza-是！我试着记住那件事。请添加为答案是！我在找它！它起作用了！这就是（-）：这结束了两天的搜索。谢谢！

spark.hadoop.fs.s3a.access.key=value