Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/multithreading/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark spark-env.sh什么时候运行?_Apache Spark_Pyspark - Fatal编程技术网

Apache spark spark-env.sh什么时候运行?

Apache spark spark-env.sh什么时候运行?,apache-spark,pyspark,Apache Spark,Pyspark,我假设spark-env.sh在使用启动spark群集时运行 sbin/start-all.sh 但是,不知何故,我在spark-env.sh中设置的所有环境变量都不是在后面设置的 怎么了 重新启动Spark cluster时Spark-env.sh不运行 我的spark-env.sh有问题,可能是语法有问题 环境变量设置好了,我就是看不到 你可以在文本编辑器中打开start all.sh,答案不错。。。为什么我没想到?你怎么检查你的环境?如果在您的程序中,您可能需要注意这一点-引用官方文档,

我假设spark-env.sh在使用启动spark群集时运行

sbin/start-all.sh
但是,不知何故,我在spark-env.sh中设置的所有环境变量都不是在后面设置的

怎么了

  • 重新启动Spark cluster时Spark-env.sh不运行
  • 我的spark-env.sh有问题,可能是语法有问题
  • 环境变量设置好了,我就是看不到

  • 你可以在文本编辑器中打开
    start all.sh
    ,答案不错。。。为什么我没想到?你怎么检查你的环境?如果在您的程序中,您可能需要注意这一点-引用官方文档,“注意:在群集模式下运行Spark on Thread时,需要使用Spark.Thread.appMasterEnv来设置环境变量。[EnvironmentVariableName]属性。在spark-env.sh中设置的环境变量将不会反映在群集模式下的纱线应用程序主进程中。有关详细信息,请参阅与纱线相关的spark属性。”