如何将数据帧保存到csv pyspark中
我正在尝试将数据帧保存到hdfs系统中。 它将另存为零件0000并保存到多个零件中。 我想将其保存为excel工作表还是仅保存为一个零件文件? 我们如何才能做到这一点 目前使用的代码:如何将数据帧保存到csv pyspark中,csv,dataframe,pyspark,hdfs,pyspark-dataframes,Csv,Dataframe,Pyspark,Hdfs,Pyspark Dataframes,我正在尝试将数据帧保存到hdfs系统中。 它将另存为零件0000并保存到多个零件中。 我想将其保存为excel工作表还是仅保存为一个零件文件? 我们如何才能做到这一点 目前使用的代码: df1.write.csv('/user/gtree/tree.csv') 您的数据帧是基于其分区保存的(多个分区=多个文件)。您可以合并或将分区减少到1个,这样只能写入1个文件 链接: 您可以使用.repartition(1)将分区设置为仅1 df.repartition(1).save(filePath
df1.write.csv('/user/gtree/tree.csv')
您的数据帧是基于其分区保存的(多个分区=多个文件)。您可以合并或将分区减少到1个,这样只能写入1个文件 链接:
您可以使用
.repartition(1)
将分区设置为仅1
df.repartition(1).save(filePath)
作为一个csv文件?还是作为一个excel文件?
df.repartition(1).save(filePath)