ipython未被识别为内部或外部命令(pyspark)
我已经安装了spark版本:ipython未被识别为内部或外部命令(pyspark),python,hadoop,apache-spark,pyspark,Python,Hadoop,Apache Spark,Pyspark,我已经安装了spark版本:spark-2.2.0-bin-hadoop2.7 我正在使用windows10OS 我的java版本1.8.0\u 144 我已经设置了我的环境变量: SPARK_HOME D:\spark-2.2.0-bin-hadoop2.7 HADOOP_HOME D:\Hadoop ( where I put bin\winutils.exe ) PYSPARK_DRIVER_PYTHON ipython PYSPARK_DRIVER_PYTHON_OPTS note
spark-2.2.0-bin-hadoop2.7
我正在使用windows10
OS
我的java版本1.8.0\u 144
我已经设置了我的环境变量:
SPARK_HOME D:\spark-2.2.0-bin-hadoop2.7
HADOOP_HOME D:\Hadoop ( where I put bin\winutils.exe )
PYSPARK_DRIVER_PYTHON ipython
PYSPARK_DRIVER_PYTHON_OPTS notebook
路径是D:\spark-2.2.0-bin-hadoop2.7\bin
从命令行启动pyspark
时,出现以下错误:
ipython is not recognized as an internal or external command
我还试图在jupyter
中设置PYSPARK\u DRIVER\u PYTHON
,但它给了我相同的错误(无法识别为内部或外部命令)
有什么帮助吗?在您的计算机中搜索ipython应用程序,在我的例子中,它位于“c:\Anaconda3\Scripts”中。然后只需将该路径添加到安装了Anaconda的Windows 10上的path环境变量,请使用Anaconda提示符而不是Windows cmd和launch,使用下面的命令启动jupyter notebook
pyspark --master local[2]
请确保问题中提到的所有配置都已完成。在Windows 10上,我通过在Anaconda-Windows Powershell中手动添加路径来解决:
$env:Path+=“Path\to\spark\bin”
其他命令,如“setx”或其他命令对我不起作用
编辑:每次启动Anaconda提示符时,我都需要再次运行上面的命令。一旦我设法使这个解决方案“确定”,我将编辑我的答案。
最后,我还需要向scala添加路径,以使其与Jupyter笔记本一起工作,如下所示:
$env:Path+=“C:\Program Files(x86)\scala\bin”
您的计算机中确实安装了jupyter
和ipython
?C:\Users\user1\Anaconda3\Scripts