Pyspark 运行可执行python代码时未定义sc
我正在spark submit(spark 2.3.0)中运行以下代码,并获得“NameError:名称'sc'未定义”Pyspark 运行可执行python代码时未定义sc,pyspark,Pyspark,我正在spark submit(spark 2.3.0)中运行以下代码,并获得“NameError:名称'sc'未定义” 在spark 2.3.0中,加载csv文件的正确方法是: from pyspark.sql import SparkSession # initiate spark instance spark = SparkSession.builder .master("local") .appName("abc")
在spark 2.3.0中,加载csv文件的正确方法是:
from pyspark.sql import SparkSession
# initiate spark instance
spark = SparkSession.builder
.master("local")
.appName("abc")
.getOrCreate()
# read csv file
df = spark.read.csv('/user/gg/LV_hadoop_example.csv')
查看更多示例。我在文件中添加了sc=SparkContext(),但仍然收到相同的错误。1)请修复缩进-粘贴在此处的代码将无法运行。2) 你的问题包括完整的回溯。
from pyspark.sql import SparkSession
# initiate spark instance
spark = SparkSession.builder
.master("local")
.appName("abc")
.getOrCreate()
# read csv file
df = spark.read.csv('/user/gg/LV_hadoop_example.csv')