Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/python-2.7/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 2.7 在intellij上设置pySpark_Python 2.7_Intellij Idea_Pyspark - Fatal编程技术网

Python 2.7 在intellij上设置pySpark

Python 2.7 在intellij上设置pySpark,python-2.7,intellij-idea,pyspark,Python 2.7,Intellij Idea,Pyspark,如何在intellij上设置pySpark。即使在设置了环境变量spark_home和pythonpath之后,import-pySpark也会给出error-import-error:没有名为pySpark的模块 转到文件->设置 寻找项目结构 单击addcontentroot并添加$SPARK\u HOME/python 之后,您的编辑器将在Spark的python目录中查找源文件。本文中的解决方案对我有效 有两个变化: 1.在解释器级别-添加$SPARK_HOME/python路径以完成代

如何在intellij上设置pySpark。即使在设置了环境变量spark_home和pythonpath之后,import-pySpark也会给出error-import-error:没有名为pySpark的模块

转到文件->设置 寻找项目结构 单击addcontentroot并添加$SPARK\u HOME/python 之后,您的编辑器将在Spark的python目录中查找源文件。

本文中的解决方案对我有效

有两个变化: 1.在解释器级别-添加$SPARK_HOME/python路径以完成代码 2.对于运行配置-将$SPARK_HOME和Py4j-*.zip添加到PYTHONPATH以提交作业

单击编辑配置

点击环境变量

添加这些变量

PYTHONPATH=%SPARK\u HOME%\python;%SPARK\u HOME%\python\build;%蟒蛇%

PYSPARK_SUBMIT_ARGS=-master local[2]PYSPARK shell

火花之家=

SPARK\u CONF\u DIR=%SPARK\u HOME\CONF

SPARK_LOCAL_IP=127.0.0.1

我按照的步骤进行操作,它帮助我成功连接,修改如下

确保安装了Python插件,我使用了Python 3.9

从下载Spark 3.1.1。从这里输入python和py4j路径的详细信息

正确设置JAVA_HOME-降低jdk 1.8 jdk HOME路径/Library/JAVA/JavaVirtualMachines/jdk1.8.0_281.jdk/Contents/HOME

我所做的额外步骤是在IntelliJ的Run/Debug Configurations选项下添加JAVA_HOME,如上所述,作为环境变量

看看findSpark。问题是PySpark不在sys.path上。默认情况下,您可以通过将PySpark符号链接到站点包中,或在运行时将PySpark添加到sys.path来解决此问题。findspark做后者,看你可以试试这个