Python 2.7 pycharm:如何将pyspark导入pycharm

Python 2.7 pycharm:如何将pyspark导入pycharm,python-2.7,pycharm,virtualenv,pyspark,Python 2.7,Pycharm,Virtualenv,Pyspark,我在Java/Scala中做了相当多的spark工作,我可以直接从main()程序运行一些测试spark工作,只要我在maven pom.xml中添加所需的spark jar 现在我开始与pyspark合作。我想知道我是否可以做类似的事情?例如,我正在使用pycharm运行wordCount作业: 如果我只是运行main()程序,则会出现以下错误: Traceback (most recent call last): File "/Applications/PyCharm.app/Cont

我在Java/Scala中做了相当多的spark工作,我可以直接从main()程序运行一些测试spark工作,只要我在maven pom.xml中添加所需的spark jar

现在我开始与pyspark合作。我想知道我是否可以做类似的事情?例如,我正在使用pycharm运行wordCount作业:

如果我只是运行main()程序,则会出现以下错误:

Traceback (most recent call last):
  File "/Applications/PyCharm.app/Contents/helpers/profiler/run_profiler.py", line 145, in <module>
    profiler.run(file)
  File "/Applications/PyCharm.app/Contents/helpers/profiler/run_profiler.py", line 84, in run
    pydev_imports.execfile(file, globals, globals)  # execute the script
  File "/Users/edamame/PycharmProjects/myWordCount/myWordCount.py", line 6, in <module>
    from pyspark import SparkContext
ImportError: No module named pyspark

Process finished with exit code 1
回溯(最近一次呼叫最后一次):
文件“/Applications/PyCharm.app/Contents/helpers/profiler/run_profiler.py”,第145行,在
profiler.run(文件)
文件“/Applications/PyCharm.app/Contents/helpers/profiler/run_profiler.py”,第84行,运行中
pydev_imports.execfile(file,globals,globals)#执行脚本
文件“/Users/edamame/PycharmProjects/myWordCount/myWordCount.py”,第6行,在
从pyspark导入SparkContext
ImportError:没有名为pyspark的模块
进程已完成,退出代码为1
我想知道如何在这里导入pyspark?因此,我可以像在Java/Scala中一样,从main()程序运行一些测试作业

我还尝试编辑解释器路径:

和我的运行->编辑配置屏幕截图:

最后是我的项目结构屏幕截图:


我错过什么了吗?谢谢

我终于按照本文中的步骤完成了工作。这真的很有帮助


我将$SPARK_HOME/python/lib下的py4j-x.x.x-src.zip和pyspark.zip添加到项目结构中(首选项>项目>项目结构,然后执行“+添加内容根”),效果很好


PS:Pycharm已经从os env中读取了$PYTHONPATH和$SPARK_HOME,这是在.bashrc/.bash_配置文件中设置的。看起来你缺少了pyspark模块?可能是我在IntelliJ中得到的副本(另外,我在那篇文章中阅读了其他答案),这是我的“解释器设置”窗口,其中突出显示了我添加的行。这篇文章帮助了我。不过,正如您所说,您使用Java/Scala,所以我不明白当IntelliJ IDEA可以很好地用于python项目时,为什么需要普通的PyCharm。我从Eclipse开始,但几年前转到了IntellIj的社区版本,它满足了我的需要。如果不为IntelliJ付费,就不能进行JavaEE或数据库连接,有其他免费的方法。如果您喜欢PyCharm for Python,那么IntelliJ中的任何Java/Scala工作都会非常相似。这就是我在PyCharm
2019.2上的工作