Python 查找'；的模块规格时出错；pyspark.worker'；（ModuleNotFoundError:没有名为'；pyspark'；的模块）

我正在尝试运行pyspark程序，但出现错误：

python.exe:查找的模块规范时出错 'pyspark.worker'（ModuleNotFoundError:没有名为'pyspark'的模块）

SparkException:Python工作程序无法连接回

代码：

我尝试了很多建议的解决方案：

• 降级火花版本
• 使用findspark.init（）
• 使用findspark.init（“/path/to/spark\u home”）
• 将内容根目录添加到项目结构中
• 使用.config（'PYTHONPATH'，'pyspark.zip:py4j-0.10.7-src.zip'））

但我总是犯同样的错误

---

我在Windows上使用PyCharm IDE。

在本地下载并提取spark后，能否尝试在

bash_Profile

或

bashrc

中添加这些行，具体取决于您是在mac还是linux上注意：这适用于spark 2.4.0，请根据您的本地安装更换spark和py4j版本

export SPARK_HOME=<prefix-to-spark-path>/spark-2.4.0-bin-hadoop2.7 
export PYTHONPATH=${SPARK_HOME}/python:$PYTHONPATH 
export PYTHONPATH=${SPARK_HOME}/python/lib/py4j-0.10.7-src.zip:$PYTHONPATH

export PYSPARK_PYTHON=<path-to-your-python> 
export PYSPARK_DRIVER_PYTHON=<path-to-your-python>

PATH=$PATH:$SPARK_HOME/bin

export SPARK_HOME=/SPARK-2.4.0-bin-hadoop2.7
导出PYTHONPATH=${SPARK_HOME}/python:$PYTHONPATH
导出PYTHONPATH=${SPARK_HOME}/python/lib/py4j-0.10.7-src.zip:$PYTHONPATH
导出PYSPARK_PYTHON=
导出PYSPARK_驱动程序_PYTHON=
路径=$PATH:$SPARK\u HOME/bin

---

请记住，linux中的语法差别不大，因此需要进行相应的调整。完成更改后，执行

source~/.bash\u profile

或

source~/.bashrc

。然后在PyCharm项目中使用与上一个文件中链接的相同的python解释器。这应该行。

我通过将Python从3.6版升级到3.7版解决了这个问题。

我正在使用Windows，然后从控制面板/systemI添加这些作为环境变量，我使用PyCharm，Python的位置在那里定义。我设法运行Python代码，但不是pyspark。另外，SPARK_HOME是在一个env变量中声明的，我还设法使用Scala运行SPARK。这是可以理解的，但是您试过了吗？如果你适当地设置变量，它会解决你的问题。我已经定义了所有这些环境变量。无论如何，我已经通过将Python从3.6版升级到3.7版解决了这个问题。

export SPARK_HOME=<prefix-to-spark-path>/spark-2.4.0-bin-hadoop2.7 
export PYTHONPATH=${SPARK_HOME}/python:$PYTHONPATH 
export PYTHONPATH=${SPARK_HOME}/python/lib/py4j-0.10.7-src.zip:$PYTHONPATH

export PYSPARK_PYTHON=<path-to-your-python> 
export PYSPARK_DRIVER_PYTHON=<path-to-your-python>

PATH=$PATH:$SPARK_HOME/bin