如何使用Pyspark将数据帧保存到pickle文件
我必须将数据帧保存到Pickle文件,但它返回一个错误如何使用Pyspark将数据帧保存到pickle文件,pyspark,pickle,Pyspark,Pickle,我必须将数据帧保存到Pickle文件,但它返回一个错误 df.saveAsPickleFile(path) AttributeError:“Dataframe”对象没有属性“saveAsPickleFile”saveAsPickleFile是一种RDD方法,而不是数据帧方法 请参阅本文档: 所以你可以打电话: df.rdd.saveAsPickleFile(filename) 要从文件加载,请运行: pickleRdd = sc.pickleFile(filename).collect()
df.saveAsPickleFile(path)
AttributeError:“Dataframe”对象没有属性“saveAsPickleFile”
saveAsPickleFile
是一种RDD方法,而不是数据帧方法
请参阅本文档:
所以你可以打电话:
df.rdd.saveAsPickleFile(filename)
要从文件加载,请运行:
pickleRdd = sc.pickleFile(filename).collect()
df2 = spark.createDataFrame(pickleRdd)
@莫吉亚,我在寻找一个解决办法,而不是熊猫。请检查标签和标题。谢谢您的回答,所以如果我理解有必要将我的数据帧转换为RDD,那么请将其保存到Pickle?