Java “Windows上的火花”-“;系统找不到指定的路径。”;
从我到目前为止所做的研究来看,这似乎是在Windows上使用Spark的常见问题,通常与路径设置不正确有关。 然而,我已经三次检查了路径,并尝试了许多我在网上遇到的解决方案,但我仍然无法找出问题的原因Java “Windows上的火花”-“;系统找不到指定的路径。”;,java,apache-spark,path,windows-7-x64,Java,Apache Spark,Path,Windows 7 X64,从我到目前为止所做的研究来看,这似乎是在Windows上使用Spark的常见问题,通常与路径设置不正确有关。 然而,我已经三次检查了路径,并尝试了许多我在网上遇到的解决方案,但我仍然无法找出问题的原因 在Windows 7(64位)的命令提示符下尝试运行spark shell,返回系统找不到指定的路径 但是,我可以在spark-shell.exe所在的目录中运行相同的命令(尽管有一些错误),这使我相信这是一个路径问题,就像互联网上关于此问题的大多数其他帖子一样。然而 从目录调用Spark s
spark shell
,返回系统找不到指定的路径
原来这个问题是由我的计算机上以前安装的Spark版本引起的。当我尝试安装独立Spark客户端时,PySpark已经通过“pip install PySpark”安装,并且安装了两个Spark实例,运行“Spark shell”在引用这两个位置时产生了冲突 因此,即使路径设置正确,“spark shell”引用的是以前的PySpark安装和独立的spark安装,这一事实也造成了问题 我注意到,当我从命令行运行“pyspark”时,它返回了两个“系统无法找到指定的路径”的实例。错误。。这让我相信pyspark/spark安装在两个位置,可能会在我调用“spark shell”时导致解决路径问题 我运行了“pip uninstall pyspark”,然后当我从命令行重新尝试“sparkshell”时,它按预期工作强>