水蟒&x2B;ipython笔记本电脑的Spark-Changed python版本
我安装了Anaconda,并尝试在顶部使用spark。 当我使用Ipython_OPTS=“notebook”启动spark时,python版本与anaconda的笔记本python版本相关水蟒&x2B;ipython笔记本电脑的Spark-Changed python版本,python,apache-spark,anaconda,Python,Apache Spark,Anaconda,我安装了Anaconda,并尝试在顶部使用spark。 当我使用Ipython_OPTS=“notebook”启动spark时,python版本与anaconda的笔记本python版本相关 $ conda search python Using Anaconda Cloud api site https://api.anaconda.org Fetching package metadata: .... ipython 0.13
$ conda search python
Using Anaconda Cloud api site https://api.anaconda.org
Fetching package metadata: ....
ipython 0.13 py26_0 defaults
* 4.1.2 py35_1 defaults
ipython-notebook 0.13.2 py27_0 defaults
4.0.4 py27_0 defaults
4.0.4 py34_0 defaults
4.0.4 py35_0 defaults
python 1.0.1 0 defaults
. 2.7.11 0 defaults
* 3.5.1 0 defaults
如果启动spark shell,我可以确定我感兴趣的环境版本(我想要2.7.11):
但是,如果我从ipython笔记本电脑开始使用spark,那么它默认回到python 3.5版本:-(
如何将默认ipython版本链接到与我的env“vingt sept”相同的版本?类似于为
PYSPARK
shell设置PYSPARK_PYTHON
环境变量的方式,您还可以使用以下方法在ipython/Jupyter笔记本中设置此环境变量:
import os
os.environ["PYSPARK_PYTHON"] = "/Applications/anaconda/anaconda/envs/vingt-sept/bin/python"
有关从笔记本设置
PYSPARK_PYTHON
和其他与Spark相关的环境变量的更多信息,请参阅。与为PYSPARK
shell设置PYSPARK_PYTHON
环境变量的方式类似,您也可以使用:
$ conda search python
Using Anaconda Cloud api site https://api.anaconda.org
Fetching package metadata: ....
ipython 0.13 py26_0 defaults
* 4.1.2 py35_1 defaults
ipython-notebook 0.13.2 py27_0 defaults
4.0.4 py27_0 defaults
4.0.4 py34_0 defaults
4.0.4 py35_0 defaults
python 1.0.1 0 defaults
. 2.7.11 0 defaults
* 3.5.1 0 defaults
import os
os.environ["PYSPARK_PYTHON"] = "/Applications/anaconda/anaconda/envs/vingt-sept/bin/python"
有关设置笔记本中的
PYSPARK\u PYTHON
和其他与Spark相关的环境变量的更多信息,请参阅。这说明了如何更改ipython的PYTHON版本这说明了如何更改ipython的PYTHON版本
$ conda search python
Using Anaconda Cloud api site https://api.anaconda.org
Fetching package metadata: ....
ipython 0.13 py26_0 defaults
* 4.1.2 py35_1 defaults
ipython-notebook 0.13.2 py27_0 defaults
4.0.4 py27_0 defaults
4.0.4 py34_0 defaults
4.0.4 py35_0 defaults
python 1.0.1 0 defaults
. 2.7.11 0 defaults
* 3.5.1 0 defaults