Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/django/24.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Pyspark:使用spark submit运行文件时执行Jupyter命令时出错_Pyspark_Jupyter Notebook_Spark Submit - Fatal编程技术网

Pyspark:使用spark submit运行文件时执行Jupyter命令时出错

Pyspark:使用spark submit运行文件时执行Jupyter命令时出错,pyspark,jupyter-notebook,spark-submit,Pyspark,Jupyter Notebook,Spark Submit,我能够运行pyspark并在Jupyter笔记本上运行脚本。 但当我尝试使用spark submit从终端运行文件时,出现以下错误: 执行Jupyter命令时出错文件路径[Errno 2]没有这样的文件或目录 谁能帮我一下我的配置有什么问题吗 我使用的是Python2.7和Spark 1.6出现这些问题的原因是您将jupyter设置为运行pyspark脚本。 现在,您应该取消设置PYSPARK\u DRIVER\u PYTHON变量命令,该命令同样是$unset PYSPARK\u DRIVER

我能够运行pyspark并在Jupyter笔记本上运行脚本。 但当我尝试使用spark submit从终端运行文件时,出现以下错误:

执行Jupyter命令时出错文件路径[Errno 2]没有这样的文件或目录

谁能帮我一下我的配置有什么问题吗


我使用的是Python2.7和Spark 1.6

出现这些问题的原因是您将jupyter设置为运行pyspark脚本。 现在,您应该取消设置
PYSPARK\u DRIVER\u PYTHON
变量命令,该命令同样是
$unset PYSPARK\u DRIVER\u PYTHON
,然后再次尝试spark提交
/bin/spark提交示例/src/main/python/streaming/network\u wordcount.py localhost 9999

我在spark-env.sh export PYSPARK\u python=python3.7中使用了以下内容如果我想运行Jupyter,必须设置驱动程序并单独运行pyspark命令。谢谢你,不是火花提交命令。