运行pyspark时出错

我试图通过终端运行pyspark。从我的终端，我运行snotebook，它将自动加载jupiter。之后，当我选择python3时，终端会显示错误

[IPKernelApp]警告|处理PYTHONSTARTUP文件时出现未知错误 /Users/simon/spark-1.6.0-bin-hadoop2.6/python/pyspark/shell.py

下面是我的.bash_配置文件设置：

export PATH="/Users/simon/anaconda/bin:$PATH"

export SPARK_HOME=~/spark-1.6.0-bin-hadoop2.6

export PATH=$PATH:$SPARK_HOME/bin

export PYSPARK_DRIVER_PYTHON=jupyter

export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

export PYSPARK_PYTHON=python3

alias snotebook='$SPARK_HOME/bin/pyspark'

---

如果您有任何想法，请告诉我，谢谢。

您需要在代码中添加以下行

PYSPARK_DRIVER_PYTHON=ipython

或

---

希望它能有所帮助。

在我的例子中，我使用的是虚拟环境，但忘记安装Jupyter，所以它使用的是在

$PATH

中找到的某个版本。在环境中安装它修复了此问题。

Spark现在包括PySpark作为安装的一部分，因此请删除PySpark库，除非您确实需要它

移除旧火花，安装最新版本。 安装（pip）FindPark库

在Jupiter中，导入并使用findspark：

导入findspark
findspark.init（）

PySpark/python3快速检查

导入findspark
findspark.init（）
从pyspark导入SparkContext
sc=SparkContext（）
印刷品（sc）
sc.停止（）

PYSPARK_DRIVER_PYTHON=ipython3