Apache spark 为什么切换conda环境会消除HADOOP\u CONF\u DIR？

我有一个奇怪的环境问题。我有两个conda环境

base

和

rnn

。当我在

base

环境中键入

pyspark--master warn

时，交互式shell成功出现，我可以使用warn web UI查看pyspark shell是否已提交给warn

但是，当我键入

source activate rnn

并后跟

pyspark--master warn

时，我看到抛出以下异常

线程“main”java.lang.Exception中的异常：使用 主“纱线”必须在中设置HADOOP_CONF_DIR或纱线_CONF_DIR 环境。 位于org.apache.spark.deploy.SparkSubmitArguments.validateSubmitArguments（SparkSubmitArguments.scala:286） 位于org.apache.spark.deploy.SparkSubmitArguments.validateArguments（SparkSubmitArguments.scala:246） 位于org.apache.spark.deploy.SparkSubmitArguments。（SparkSubmitArguments.scala:119） 位于org.apache.spark.deploy.SparkSubmit$.main（SparkSubmit.scala:129） 位于org.apache.spark.deploy.SparkSubmit.main（SparkSubmit.scala）

---

如果切换回

base

conda环境，并键入

printenv

，我也看不到HADOOP\u CONF\u DIR或warn\u CONF\u DIR。我不清楚这些环境变量在哪里或如何设置，以及为什么从一个conda环境切换到另一个conda环境会导致上述异常。有关如何解决此问题的任何想法？

这些变量可能是在脚本中设置的。在您的基本conda环境中，脚本是正确的，而在另一个环境中，脚本是不正确的。您对哪些脚本或目录有直觉吗？我对康达的内部结构了解不够，无法选择一个位置。这在康达是不会发生的。它发生在spark脚本中。Conda仅更改所使用脚本的路径。例如，在answer中有一个指向一个脚本的路径。