Apache spark 我可以在Macbook Pro上同时安装两个pyspark版本（1.6.1和2.0）吗？

我目前正在使用Spark 1.6.1，并在Jupyter ipython笔记本和Java8中使用它。对于Java，我可以修改我的maven pom以导入Spark 2.0，但我不确定如何在Ipython中实现等效功能。我想我需要安装2.0，但既然我已经安装了Spark 1.6.1，那么这可行吗？我可以在macbook上同时使用这两个版本并从pyspark中选择要使用的版本吗？怎么做

更新：这就是我如何在终端上启动Jupyter pyspark笔记本=>的方法：

%IPYTHON\u OPTS=“notebook”pyspark

。我如何告诉它使用Spark 2.0启动

我可以在macbook上同时使用这两个版本并从pyspark中选择要使用的版本吗

对

假设您已将Spark提取到

/opt/apache Spark

文件夹。然后，在那里，您可以同时拥有

2.0.0

和

1.6.1

两个版本

然后，要运行

2.0.0

版本的

pyspark

，只需运行

/opt/apache-spark/2.0.0/bin/pyspark

---

你需要问的真正问题是，为什么你认为你需要两个版本

我可以在macbook上同时使用这两个版本并从pyspark中选择要使用的版本吗

对

假设您已将Spark提取到

/opt/apache Spark

文件夹。然后，在那里，您可以同时拥有

2.0.0

和

1.6.1

两个版本

然后，要运行

2.0.0

版本的

pyspark

，只需运行

/opt/apache-spark/2.0.0/bin/pyspark

---

---

你需要问的真正问题是，为什么你认为你需要两个版本？

在linux上，应该更新环境变量$SPARK_HOMEOn linux，应该更新环境变量$SPARK_home我想让SPARK 2.0在我仍在使用1.6时学习它。。一旦我学会了2.0，我就不需要1.6了。那么，这是否回答了这个问题？还不完全。我在运行Ipython笔记本电脑。你没说太多细节。。你是说当我下载Spark 2.0时，它会自动进入我当前的1.6目录吗？另外，当我启动我的Jupyter笔记本（在终端上：IPYTHON_OPTS=“notebook”pyspark）时，我如何告诉它使用Spark 2.0启动？我不知道您是如何下载Spark的。Jupyter笔记本并不是最初问题的一部分。您只是问您的系统中是否可以有两个版本的Spark，答案是肯定的。不过，关于笔记本电脑，每个版本可以有2个pyspark或scala内核。我想让Spark 2.0在我仍然使用1.6的时候学习它。。一旦我学会了2.0，我就不需要1.6了。那么，这是否回答了这个问题？还不完全。我在运行Ipython笔记本电脑。你没说太多细节。。你是说当我下载Spark 2.0时，它会自动进入我当前的1.6目录吗？另外，当我启动我的Jupyter笔记本（在终端上：IPYTHON_OPTS=“notebook”pyspark）时，我如何告诉它使用Spark 2.0启动？我不知道您是如何下载Spark的。Jupyter笔记本并不是最初问题的一部分。您只是问您的系统中是否可以有两个版本的Spark，答案是肯定的。不过，关于笔记本电脑，每个版本可以有2个pyspark或scala内核。