Java “Windows上的火花”-“;系统找不到指定的路径。”;

Java “Windows上的火花”-“;系统找不到指定的路径。”;,java,apache-spark,path,windows-7-x64,Java,Apache Spark,Path,Windows 7 X64,从我到目前为止所做的研究来看,这似乎是在Windows上使用Spark的常见问题,通常与路径设置不正确有关。 然而,我已经三次检查了路径,并尝试了许多我在网上遇到的解决方案,但我仍然无法找出问题的原因 在Windows 7(64位)的命令提示符下尝试运行spark shell,返回系统找不到指定的路径 但是,我可以在spark-shell.exe所在的目录中运行相同的命令(尽管有一些错误),这使我相信这是一个路径问题,就像互联网上关于此问题的大多数其他帖子一样。然而 从目录调用Spark s

从我到目前为止所做的研究来看,这似乎是在Windows上使用Spark的常见问题,通常与路径设置不正确有关。 然而,我已经三次检查了路径,并尝试了许多我在网上遇到的解决方案,但我仍然无法找出问题的原因

  • 在Windows 7(64位)的命令提示符下尝试运行
    spark shell
    ,返回
    系统找不到指定的路径

  • 但是,我可以在spark-shell.exe所在的目录中运行相同的命令(尽管有一些错误),这使我相信这是一个路径问题,就像互联网上关于此问题的大多数其他帖子一样。然而

    从目录调用Spark shell时,Spark shell会工作:

    Shell似乎正在工作:

  • 据我所知,我的路径似乎设置正确。我遇到的这个问题的大多数解决方案都涉及修复%JAVA_HOME%系统变量以指向正确的位置,并将“%JAVA_HOME%/bin”添加到路径(以及包含“spark shell.exe”的目录),但是我的JAVA_HOME变量和PATH变量似乎都包含所需的目录


  • 原来这个问题是由我的计算机上以前安装的Spark版本引起的。当我尝试安装独立Spark客户端时,PySpark已经通过“pip install PySpark”安装,并且安装了两个Spark实例,运行“Spark shell”在引用这两个位置时产生了冲突

    因此,即使路径设置正确,“spark shell”引用的是以前的PySpark安装和独立的spark安装,这一事实也造成了问题

    我注意到,当我从命令行运行“pyspark”时,它返回了两个“系统无法找到指定的路径”的实例。错误。。这让我相信pyspark/spark安装在两个位置,可能会在我调用“spark shell”时导致解决路径问题

    我运行了“pip uninstall pyspark”,然后当我从命令行重新尝试“sparkshell”时,它按预期工作