如何使用Pyspark将数据帧保存到pickle文件

如何使用Pyspark将数据帧保存到pickle文件,pyspark,pickle,Pyspark,Pickle,我必须将数据帧保存到Pickle文件,但它返回一个错误 df.saveAsPickleFile(path) AttributeError:“Dataframe”对象没有属性“saveAsPickleFile”saveAsPickleFile是一种RDD方法,而不是数据帧方法 请参阅本文档: 所以你可以打电话: df.rdd.saveAsPickleFile(filename) 要从文件加载,请运行: pickleRdd = sc.pickleFile(filename).collect()

我必须将数据帧保存到Pickle文件,但它返回一个错误

df.saveAsPickleFile(path)

AttributeError:“Dataframe”对象没有属性“saveAsPickleFile”

saveAsPickleFile
是一种RDD方法,而不是数据帧方法

请参阅本文档:

所以你可以打电话:

df.rdd.saveAsPickleFile(filename)
要从文件加载,请运行:

pickleRdd = sc.pickleFile(filename).collect()
df2 = spark.createDataFrame(pickleRdd)

@莫吉亚,我在寻找一个解决办法,而不是熊猫。请检查标签和标题。谢谢您的回答,所以如果我理解有必要将我的数据帧转换为RDD,那么请将其保存到Pickle?