Apache spark conda在Windows 10上安装PySpark后出现的问题

大约一年前，在我的课程中，我将PySpark（1.1版）安装在我的Windows10笔记本电脑上，与Jupyter笔记本电脑一起使用。一年后，我不得不重新安装Anaconda3等，除运行spark命令外，一切似乎都很好。我使用以下命令安装了Pyspark:

conda安装-c conda forge Pyspark

。现在，我尝试使用我的所有脚本，我得到以下结果：

Exception  Traceback (most recent call last) <ipython-input-5-03dc2d316f89> in <module>()1 sc = SparkSession.builder.appName('Basics').getOrCreate()

~\Anaconda3\lib\site-packages\pyspark\sql\session.py in getOrCreate(self)

167                     for key, value in self._options.items():
168                         sparkConf.set(key, value)
169                     sc = SparkContext.getOrCreate(sparkConf)
170                     # This SparkContext may be an existing one.
171                     for key, value in self._options.items():

sc=SparkSession.builder.appName（'Basics'）.getOrCreate（）中的异常回溯（最近一次调用）
getOrCreate（self）中的~\Anaconda3\lib\site packages\pyspark\sql\session.py
167对于键，值在self.\u options.items（）中：
168 sparkConf.集合（键、值）
169 sc=SparkContext.getOrCreate（sparkConf）
170#此SparkContext可能是现有的。
171对于键，值在self.\u options.items（）中：

我安装了最新的PySpark 2.2.0版，我基本上回答了相同的问题，但回答了很多令人困惑的问题。正如我所指出的，一年前我在Win 10 box上运行了PySpark的旧版本

---

任何想法或提示？

来自PyPi或Anaconda的Pyspark（即安装有

pip

或

conda

）不包含完整的Pyspark功能；它仅适用于现有集群中的Spark安装，在这种情况下，您可能需要。从（此信息也应在中，但不幸的是不是）：

Spark的Python打包并不打算取代所有 其他用例。此Python打包版本的Spark适用于 与现有集群（无论是独立集群、纱线集群还是 Mesos）-但不包含设置您自己的系统所需的工具 独立的火花簇。您可以下载Spark的完整版本 从

---

因此，您应该从上面的链接下载完整的Spark发行版（Pyspark是其中的一个组成部分）。当然，这正是您过去所做的，因为

pip/conda

选项最近才在Spark 2.1中可用。

欢迎使用；如果你觉得答案有用，请不要忘记接受它-谢谢