Python pyspark:系统找不到指定的路径
我刚刚使用conda安装了pyspark 2.2.0(在Windows7 64位上使用python v3.6,java v1.8) 它已下载,似乎安装正确,没有错误。现在,当我在命令行上运行Python pyspark:系统找不到指定的路径,python,pyspark,environment-variables,Python,Pyspark,Environment Variables,我刚刚使用conda安装了pyspark 2.2.0(在Windows7 64位上使用python v3.6,java v1.8) 它已下载,似乎安装正确,没有错误。现在,当我在命令行上运行pyspark时,它只会告诉我“系统找不到指定的路径。” 我尝试将pyspark路径目录包含在我的路径环境变量中,但这似乎仍然不起作用,但可能我给出了错误的路径?谁能给我提个建议吗。Java路径是否需要在path环境变量中指定?感谢PyPi的PySpark(即安装了pip或conda)不包含完整的PySpar
pyspark
时,它只会告诉我“系统找不到指定的路径。”
我尝试将pyspark路径目录包含在我的路径环境变量中,但这似乎仍然不起作用,但可能我给出了错误的路径?谁能给我提个建议吗。Java路径是否需要在path环境变量中指定?感谢PyPi的PySpark(即安装了pip
或conda
)不包含完整的PySpark功能;它仅适用于现有集群中的Spark安装,在这种情况下,您可能需要。从:
Spark的Python打包并不打算取代所有其他用例。此Python打包版本的Spark非常适合
用于与现有集群交互(无论是独立集群,
纱线,或Mesos)-但不包含设置所需的工具
您自己的独立Spark群集。您可以下载完整版本
来自太阳的火花
如果您打算在PySpark shell中工作,我建议您如上所述下载Spark(PySpark是它的一个重要组件)
当我遇到路径问题时,这对我很有效。希望能有帮助。
如果没有,请检查您的配置文件 在我的例子中,问题是由双路径引起的。从环境中删除火花路径
pip uninstall pyspark
pip install pyspark
这似乎是一个Java路径问题 我遇到了同样的问题,得到了完全相同的响应,并且没有设置JAVA_主路径 查看穆斯塔法·马哈茂德的回答。我只需要考虑一下建议1。(JAVA_HOME变量)
我也看到了 谢谢-即使从页面下载后,在安装和运行时仍然有困难。是否有必要按照所述更改.bashrc中的路径变量?@killerT2333通常是;你会在网上找到几十篇关于这个的文章。如果你觉得答案有帮助,请接受它(也欢迎投票)-谢谢
$pyspark
The system cannot find the path specified.
The system cannot find the path specified.
export PYSPARK_PYTHON=python3.5
pip uninstall pyspark
pip install pyspark