Dataframe Pyspark数据帧到配置单元表

Dataframe Pyspark数据帧到配置单元表,dataframe,pyspark,Dataframe,Pyspark,如何解析配置单元表中的pyspark df? 还有,有没有办法从我的df中创建带有标题的csv 我不使用pandas,我的dfs是用spark.sql()创建的。您可以用df读取pyspark中的蜂巢表数据,然后使用选项(“header”,“true”)编写带有头的df 示例: df=spark.sql("select * from <db>.<hive_table>") df.write.mode("overwrite").op

如何解析配置单元表中的pyspark df? 还有,有没有办法从我的df中创建带有标题的csv


我不使用pandas,我的dfs是用spark.sql()创建的。

您可以用df读取pyspark中的
蜂巢表数据,然后使用
选项(“header”,“true”)
编写带有
头的df

示例:

df=spark.sql("select * from <db>.<hive_table>")

df.write.mode("overwrite").option("header","true").csv("<file_path>")
#choosee mode either overwrite/append
df.write.mode("overwrite").saveAsTable("<hive_db>.<hive_table>")

#or using spark sql
df.createOrReplaceTempView("tmp")
spark.sql("insert into <hive_db>.<hive_table> select * from tmp")

谢谢你的回答。df.write.mode工作正常。对于蜂巢,我想将df放入表格,而不是将表格放入df。请检查答案的
UPDATE
部分!