Python 尝试在Jupyter笔记本中运行pyspark时出错java.io.IOException:无法连接到

我试图在Jypyter笔记本中运行pyspark，但出现以下异常： Py4JJavaError:调用o190.showString时出错。 ：org.apache.spark.sparkeexception:作业因阶段失败而中止：阶段2.0中的任务0失败1次，最近的失败：阶段2.0中的任务0.0丢失（TID 2，本地主机，执行器驱动程序）：java.io.IOException:无法连接到/10.209.34.114:50701

我尝试过的事情：

• 我已验证我只运行一个spark实例
• 已尝试升级到spark的最新版本
• 代码没有问题；我认为问题在于bash概要文件是如何设置的

这是我的配置（MaxOSX上的bash配置文件）

以下是我正在运行的示例代码：

spark=SparkSession.builder.appName（“spark测试”）.getOrCreate（）
列=['id'、'dogs'、'cats']
VAL=[
(1, 2, 0),
(2, 0, 1)
]
df=spark.createDataFrame（VAL，列）
df.show（）

完整堆栈跟踪：

export SPARK_VERSION=`ls /usr/local/Cellar/apache-spark/ | sort | tail -1`
export SPARK_HOME="/usr/local/Cellar/apache-spark/$SPARK_VERSION/libexec"
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH

export SPARK_PATH=~/spark-2.4.3-bin-hadoop2.7
export PYSPARK_DRIVER_PYTHON="jupyter"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
export PACKAGES="io.delta:delta-core_2.12:0.1.0"
export PYSPARK_SUBMIT_ARGS="--packages ${PACKAGES} pyspark-shell"
export PYSPARK_PYTHON=python3
alias snotebook='$SPARK_PATH/bin/pyspark --packages com.databricks:spark-csv_2.$