Apache spark spark-env.sh什么时候运行?
我假设spark-env.sh在使用启动spark群集时运行Apache spark spark-env.sh什么时候运行?,apache-spark,pyspark,Apache Spark,Pyspark,我假设spark-env.sh在使用启动spark群集时运行 sbin/start-all.sh 但是,不知何故,我在spark-env.sh中设置的所有环境变量都不是在后面设置的 怎么了 重新启动Spark cluster时Spark-env.sh不运行 我的spark-env.sh有问题,可能是语法有问题 环境变量设置好了,我就是看不到 你可以在文本编辑器中打开start all.sh,答案不错。。。为什么我没想到?你怎么检查你的环境?如果在您的程序中,您可能需要注意这一点-引用官方文档,
sbin/start-all.sh
但是,不知何故,我在spark-env.sh中设置的所有环境变量都不是在后面设置的
怎么了
你可以在文本编辑器中打开
start all.sh
,答案不错。。。为什么我没想到?你怎么检查你的环境?如果在您的程序中,您可能需要注意这一点-引用官方文档,“注意:在群集模式下运行Spark on Thread时,需要使用Spark.Thread.appMasterEnv来设置环境变量。[EnvironmentVariableName]属性。在spark-env.sh中设置的环境变量将不会反映在群集模式下的纱线应用程序主进程中。有关详细信息,请参阅与纱线相关的spark属性。”