可以在SPARK中覆盖Hadoop配置吗？

是否可以在SPARK中覆盖Hadoop配置，以便自动解析NameNode IP？目前，由于现有的Hadoop配置（我无法修改，因为它可能会影响我的常规HDF），我开始出现未知的后异常。

任何以前缀

spark.Hadoop传入的内容。

将被视为Hadoop配置覆盖

val conf = new SparkConf
conf.set("spark.hadoop.HADOOPCONFKEY", "VALUE")
val sc = new SparkContext(conf)

---

或者任何传入hadoop配置文件的内容都将作为hadoop配置值。

任何传入前缀为

spark.hadoop.

的内容都将被视为hadoop配置覆盖

val conf = new SparkConf
conf.set("spark.hadoop.HADOOPCONFKEY", "VALUE")
val sc = new SparkContext(conf)

---

或者任何传入hadoop配置文件的内容都将作为hadoop配置值。

任何传入前缀为

spark.hadoop.

的内容都将被视为hadoop配置覆盖

val conf = new SparkConf
conf.set("spark.hadoop.HADOOPCONFKEY", "VALUE")
val sc = new SparkContext(conf)

---

或者任何传入hadoop配置文件的内容都将作为hadoop配置值。

任何传入前缀为

spark.hadoop.

的内容都将被视为hadoop配置覆盖

val conf = new SparkConf
conf.set("spark.hadoop.HADOOPCONFKEY", "VALUE")
val sc = new SparkContext(conf)

---

或者您传递到

hadoopRDD

conf的任何内容都将充当hadoop配置值。

感谢您的响应。我应该在HADOOPCONFKEY中设置哪些键来自动解析Namenode IP。我尝试给出“spark.hadoop.dfs.ha.namenodes.nn”、“spark.hadoop.dfs.namenode.rpc address.nn”、“spark.hadoop.dfs.namenode.http address.nn”和其他核心站点和hdfs站点配置属性。但我还是不知道，我不确定。这听起来更像是一个hadoop特有的问题。谢谢你的回答。我应该在HADOOPCONFKEY中设置哪些键来自动解析Namenode IP。我尝试给出“spark.hadoop.dfs.ha.namenodes.nn”、“spark.hadoop.dfs.namenode.rpc address.nn”、“spark.hadoop.dfs.namenode.http address.nn”和其他核心站点和hdfs站点配置属性。但我还是不知道，我不确定。这听起来更像是一个hadoop特有的问题。谢谢你的回答。我应该在HADOOPCONFKEY中设置哪些键来自动解析Namenode IP。我尝试给出“spark.hadoop.dfs.ha.namenodes.nn”、“spark.hadoop.dfs.namenode.rpc address.nn”、“spark.hadoop.dfs.namenode.http address.nn”和其他核心站点和hdfs站点配置属性。但我还是不知道，我不确定。这听起来更像是一个hadoop特有的问题。谢谢你的回答。我应该在HADOOPCONFKEY中设置哪些键来自动解析Namenode IP。我尝试给出“spark.hadoop.dfs.ha.namenodes.nn”、“spark.hadoop.dfs.namenode.rpc address.nn”、“spark.hadoop.dfs.namenode.http address.nn”和其他核心站点和hdfs站点配置属性。但我还是不知道，我不确定。这听起来更像是hadoop特有的问题。