Python Windows 10上的Spark';Files\Spark\bin\..\jars“&引用\';不被识别为内部或外部命令
我对Spark感到非常沮丧。一个晚上,我一直认为我做错了什么,但我已经卸载并重新安装了好几次,遵循多个指南,所有这些都表明了一个非常相似的路径 在cmd提示符下,我正在尝试运行:Python Windows 10上的Spark';Files\Spark\bin\..\jars“&引用\';不被识别为内部或外部命令,python,windows,hadoop,apache-spark,pyspark,Python,Windows,Hadoop,Apache Spark,Pyspark,我对Spark感到非常沮丧。一个晚上,我一直认为我做错了什么,但我已经卸载并重新安装了好几次,遵循多个指南,所有这些都表明了一个非常相似的路径 在cmd提示符下,我正在尝试运行: pyspark 或 我遵循的步骤包括从以下位置下载预构建包: 包括使用hadoop 2.3的spark 2.0.2和使用hadoop 2.7的spark 2.1.0 我和工作都没有得到这个错误: 'Files\Spark\bin\..\jars""\' is not recognized as an interna
pyspark
或
我遵循的步骤包括从以下位置下载预构建包:
包括使用hadoop 2.3的spark 2.0.2和使用hadoop 2.7的spark 2.1.0
我和工作都没有得到这个错误:
'Files\Spark\bin\..\jars""\' is not recognized as an internal or external command,
operable program or batch file.
Failed to find Spark jars directory.
You need to build Spark before running this program.
我已经使用winutils.exe技巧很好地设置了我的环境变量,但这些似乎与手头的问题无关
我不可能是唯一一个陷入这个问题的人。有人知道在windows中运行此程序的解决方法吗?我刚刚在这个问题的一个答案中找到了答案: 以下答案对我很有用,完全违反直觉:
“在Windows上,我发现如果它安装在路径(C:\Program Files\Spark)中有空格的目录中,安装将失败。请将其移动到根目录或其他没有空格的目录中。”此问题是由环境变量设置引起的,事实上,您可能将Spark\u HOME值设置为“Program Files\Spark\bin”“,其中有两个问题:
- 您必须移除垃圾箱,spark home只是“Program Files\spark”
- 由于spark home的路径包含空白,因此会导致问题,因此可以将其设置为“Progra~1\spark”
- 我也面临同样的问题。出现此问题的主要原因是文件夹路径中的空间。
C:\Program Files\spark-2.4.5-bin-hadoop2.7 for spark\u HOME。只需将此spark-2.4.5-bin-hadoop2.7文件夹移动到C驱动器的根目录,即C:\spark-2.4.5-bin-hadoop2.7,并将spark_HOME指向相同的位置。它解决了这个问题。我喜欢你的答案,但在运行命令“\bin\sparkR”后,我收到一条消息“R未被识别为内部或外部命令、可操作程序或批处理文件”。你得到同样的警告了吗?我没有看到这一点,但首先想到的是环境变量的设置可能不正确。
'Files\Spark\bin\..\jars""\' is not recognized as an internal or external command,
operable program or batch file.
Failed to find Spark jars directory.
You need to build Spark before running this program.