Apache spark PYSPARK_PYTHON环境变量是否仅适用于登录用户?

Apache spark PYSPARK_PYTHON环境变量是否仅适用于登录用户?,apache-spark,pyspark,Apache Spark,Pyspark,这可能更像是一个Linux问题,但我正在运行一个带有UDF的Pyspark作业,该UDF依赖于Python3(而不是Python2)的内置模块。因此,基本上作业爆炸是因为执行器/驱动程序正在运行Python2。无论如何,我想将PYSPARK\u PYTHON环境变量设置为使用Python3,但我使用的是其他人用来执行PYSPARK作业的系统。我使用一个特定的用户帐户来执行我的作业,所以我只想确保如果我设置了PYSPARK\u PYTHON变量,那么它将只应用于我的帐户,而不会应用于其他可能会因我

这可能更像是一个Linux问题,但我正在运行一个带有UDF的Pyspark作业,该UDF依赖于Python3(而不是Python2)的内置模块。因此,基本上作业爆炸是因为执行器/驱动程序正在运行Python2。无论如何,我想将
PYSPARK\u PYTHON
环境变量设置为使用Python3,但我使用的是其他人用来执行PYSPARK作业的系统。我使用一个特定的用户帐户来执行我的作业,所以我只想确保如果我设置了
PYSPARK\u PYTHON
变量,那么它将只应用于我的帐户,而不会应用于其他可能会因我的设置而导致executor PYTHON版本突然更改的人

不过,执行器在不同的机器上运行。如果您编辑
~/.bashrc
,则不能保证在其上获得Python3,它将仅用于该用户帐户,是的。在windows上,还可以为每个用户设置环境变量