java.io.IOException:无法运行程序"；python“；在Pycharm（Windows）中使用Spark

我正在尝试使用Pycharm中的Spark编写一个非常简单的代码，我的操作系统是Windows8。我一直在处理几个问题，除了一个问题外，这些问题都设法解决了。当我使用pyspark.cmd运行代码时，一切都很顺利，但是我在pycharm中没有使用相同的代码。SPARK_HOME变量存在问题，我使用以下代码修复了该问题：

import sys
import os
os.environ['SPARK_HOME'] = "C:/Spark/spark-1.4.1-bin-hadoop2.6"
sys.path.append("C:/Spark/spark-1.4.1-bin-hadoop2.6/python")
sys.path.append('C:/Spark/spark-1.4.1-bin-hadoop2.6/python/pyspark')

现在，当我导入pyspark时，一切都很好：

from pyspark import SparkContext

当我想运行其余代码时，问题就出现了：

logFile = "C:/Spark/spark-1.4.1-bin-hadoop2.6/README.md"
sc = SparkContext()
logData = sc.textFile(logFile).cache()
logData.count()

当我收到以下错误时：

15/08/27 12:04:15 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)
java.io.IOException: Cannot run program "python": CreateProcess error=2, The system cannot find the file specified

我已经添加了python路径作为一个环境变量，并且它可以使用命令行正常工作，但是我无法找出这段代码的问题所在。非常感谢您的帮助或评论

---

谢谢

经过两天的努力，我终于找到了问题所在。我将以下内容作为windows环境变量添加到“PATH”变量中：

C:/Spark/spark-1.4.1-bin-hadoop2.6/python/pyspark
C:\Python27

请记住，您需要将目录更改为安装spark的位置，对于python也是如此。另一方面，我必须提到，我正在使用包含Hadoop的spark的预构建版本

---

祝你们好运。

我遇到了这个问题，它是由集群中不同节点上的python版本冲突引起的，所以可以通过

export PYSPARK_PYTHON=/usr/bin/python

不同节点上的版本相同。然后开始：

pyspark

---

除了

PYTHONPATH

和

SPARK\u HOME

变量外，我还必须将

PYTHONPATH

设置为环境变量，以指向python.exe文件

SPARK_PYTHONPATH=C:\Python27\python.exe

---

我和你有同样的问题，然后我做了以下改变： 将PYSPARK\u PYTHON设置为环境变量，在Pycharm的编辑配置中指向PYTHON.exe，下面是我的示例：

PYSPARK_PYTHON=D:\Anaconda3\PYTHON.exe

SPARK_HOME=D:\SPARK-1.6.3-bin-hadoop2.6

PYTHONUNBUFFERED=1

---

我尝试将上面的行添加到PATH变量中，但仍然没有成功。从eclipse执行时，我仍然会收到错误。我的路径变量类似于：%{EXISTING_Path}%；%PY_HOME%；%PY_HOME%\Scripts；%SPARK_HOME%\bin；%SPARK_HOME%\python\pyspark我尝试将SPARK变量放在第一位，pythong放在第二位，如%{EXISTING_PATH}%；%SPARK_HOME%\bin；%SPARK\u HOME%\python\pyspark；%{现有路径}%；%PY_HOME%；%PY_HOME%\Scripts；%SPARK_HOME%\bin；%SPARK\u HOME%\python\pyspark%PY\u HOME%=C:\Python2.7.11%SPARK\u HOME%=C:\Spark1.6Hadoop2.6I已从以下链接完成所有操作：