Dataframe Pyspark从case对象创建数据帧
我正在尝试使用下面的代码创建一个数据帧。但是,它不起作用。有人能告诉我怎么做吗。非常感谢Dataframe Pyspark从case对象创建数据帧,dataframe,pyspark,Dataframe,Pyspark,我正在尝试使用下面的代码创建一个数据帧。但是,它不起作用。有人能告诉我怎么做吗。非常感谢 @dataclass class Person: id: float name: str if __name__ == "__main__": conf = SparkConf().setAppName("test").setMaster("local[*]") sc = SparkContext(conf
@dataclass
class Person:
id: float
name: str
if __name__ == "__main__":
conf = SparkConf().setAppName("test").setMaster("local[*]")
sc = SparkContext(conf = conf)
sqlContext = SQLContext(sc)
rawdata = [Person(1, "Test01"), Person(2, "Test02"), Person(3, "Test03")]
rdd = sc.parallelize(rawdata)
df = sqlContext.createDataFrame(rdd, [Person])
按如下方式尝试spark会话:
rawdata = [Person(1, "Test01"), Person(2, "Test02"), Person(3, "Test03")]
df = spark.createDataFrame(rawdata, ["person"])