链接到pyspark:name';火花&x27;没有定义

链接到pyspark:name';火花&x27;没有定义,pyspark,pycharm,Pyspark,Pycharm,在cmd中运行示例代码时,一切正常 >>> import pyspark >>> l = [('Alice', 1)] >>> spark.createDataFrame(l).collect() [Row(_1='Alice', _2=1)] 但是当我在pycharm中执行代码时,我得到了一个错误 spark.createDataFrame(l).collect() NameError: name 'spark' is not defin

在cmd中运行示例代码时,一切正常

>>> import pyspark
>>> l = [('Alice', 1)]
>>> spark.createDataFrame(l).collect()
[Row(_1='Alice', _2=1)]
但是当我在pycharm中执行代码时,我得到了一个错误

spark.createDataFrame(l).collect()
NameError: name 'spark' is not defined
当我把Pycharm链接到pyspark时,可能出了什么问题


当您从命令行启动
pyspark
时,您可以使用
sparkSession
对象和
sparkContext
分别作为
spark
sc
使用

要在pycharm中使用它,您应该首先创建这些变量,以便可以使用它们

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()
sc = spark.sparkContext
编辑:
请查看:

是否缺少pyspark.sql导入SparkSession中定义
spark
的部分;spark=SparkSession.builder.getOrCreate()
?spark的哪个版本?spark版本:2.4.4,但在CMD中,我也没有定义spark。你不必在pyspark shell中定义它们-它们是自动为你定义的。之后,我会得到一个新错误<代码>19/10/30 13:46:36错误外壳:在hadoop二进制文件路径java.io.IOException中找不到winutils二进制文件:在hadoop二进制文件中找不到可执行文件C:\hadoop-2.7.7\bin\winutils.exe。您是如何安装pyspark的?我从未使用过windows,所以我真的不知道。我很乐意查一下。。编辑:我已经编辑了我的答案