Pyspark 运行可执行python代码时未定义sc

Pyspark 运行可执行python代码时未定义sc,pyspark,Pyspark,我正在spark submit(spark 2.3.0)中运行以下代码,并获得“NameError:名称'sc'未定义” 在spark 2.3.0中,加载csv文件的正确方法是: from pyspark.sql import SparkSession # initiate spark instance spark = SparkSession.builder .master("local") .appName("abc")

我正在spark submit(spark 2.3.0)中运行以下代码,并获得“NameError:名称'sc'未定义”


在spark 2.3.0中,加载csv文件的正确方法是:

from pyspark.sql import SparkSession

# initiate spark instance
spark = SparkSession.builder
            .master("local")
            .appName("abc")
            .getOrCreate()

# read csv file
df = spark.read.csv('/user/gg/LV_hadoop_example.csv')
查看更多示例。

我在文件中添加了sc=SparkContext(),但仍然收到相同的错误。1)请修复缩进-粘贴在此处的代码将无法运行。2) 你的问题包括完整的回溯。
from pyspark.sql import SparkSession

# initiate spark instance
spark = SparkSession.builder
            .master("local")
            .appName("abc")
            .getOrCreate()

# read csv file
df = spark.read.csv('/user/gg/LV_hadoop_example.csv')