Pyspark 用于csv文件的SparkContext或SparkSession
SparkSession允许我们加载数据帧和SparkContext rdd对象。 当我想加载数据帧时,我通常必须使用SparkSession,所以我不明白为什么我可以使用SparkContext加载数据帧Pyspark 用于csv文件的SparkContext或SparkSession,pyspark,Pyspark,SparkSession允许我们加载数据帧和SparkContext rdd对象。 当我想加载数据帧时,我通常必须使用SparkSession,所以我不明白为什么我可以使用SparkContext加载数据帧 from pyspark.sql import SQLContext sc = SparkContext() sc.setLogLevel("ERROR") sqlContext = SQLContext(sc) df = sqlContext.read.forma
from pyspark.sql import SQLContext
sc = SparkContext()
sc.setLogLevel("ERROR")
sqlContext = SQLContext(sc)
df = sqlContext.read.format('csv').options(header='true', inferschema='true').load('un.csv')
此外,当我尝试使用SparkSession加载csv文件时
那不行
spark =SparkSession.builder().master("local[1]").appName("SparkByExamples.com").getOrCreate()
df =spark.read.csv('un.csv')
df.printSchema()
多谢各位