使用apachespark提交Python应用程序

我试图遵循Apache Spark文档网站上的示例：

我启动了一个Spark独立集群，并希望运行示例Python应用程序。我在spark-2.0.0-bin-hadoop2.7目录中，运行了以下命令

./bin/spark-submit \
--master spark://207.184.161.138:7077 \
examples/src/main/python/pi.py \
1000

然而，我得到了错误

jupyter: '/Users/MyName/spark-2.0.0-bin- \
hadoop2.7/examples/src/main/python/pi.py' is not a Jupyter command

这就是我的bash_档案的样子

#setting path for Spark
export SPARK_PATH=~/spark-2.0.0-bin-hadoop2.7
export PYSPARK_DRIVER_PYTHON="jupyter"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
alias snotebook='$SPARK_PATH/bin/pyspark --master local[2]'

---

我做错了什么？

PYSPARK_驱动程序_PYTHON和

PYSPARK_驱动程序_PYTHON_选项

用于在打开PYSPARK shell时运行ipython/jupyter shell（更多信息请访问）

您可以这样设置：

alias snotebook='PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS=notebook $SPARK_PATH/bin/pyspark --master local[2]'

---

因此，在提交

pyspark_驱动程序_PYTHON

和

pyspark_驱动程序_PYTHON_PYTHON_OPTS

时，它不会干扰pyspark，用于在打开pyspark shell时运行ipython/jupyter shell（更多信息请参阅）

您可以这样设置：

alias snotebook='PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS=notebook $SPARK_PATH/bin/pyspark --master local[2]'

---

这样，它在提交时不会干扰pyspark

在spark submit命令之前添加

pyspark\u DRIVER\u PYTHON=ipython

例如：

PYSPARK_DRIVER_PYTHON=ipython ./bin/spark-submit \ 
/home/SimpleApp.py

---

在spark提交命令之前添加

PYSPARK\u DRIVER\u PYTHON=ipython

例如：

PYSPARK_DRIVER_PYTHON=ipython ./bin/spark-submit \ 
/home/SimpleApp.py

---

提交前取消设置

PYSPARK\u DRIVER\u PYTHON

和

PYSPARK\u PYTHON\u OPTS

。提交前取消设置

PYSPARK\u DRIVER\u PYTHON

和

PYSPARK\u DRIVER\u PYTHON\u OPTS。尼斯。唯一的问题是我是否要将参数传递给python脚本。出于某种原因，伊皮顿正在干涉，认为他们是赞成的。很好。唯一的问题是我是否要将参数传递给python脚本。出于某种原因，伊皮顿正在干涉，认为他们是赞成的。