Dataframe Pyspark数据帧到配置单元表
如何解析配置单元表中的pyspark df? 还有,有没有办法从我的df中创建带有标题的csvDataframe Pyspark数据帧到配置单元表,dataframe,pyspark,Dataframe,Pyspark,如何解析配置单元表中的pyspark df? 还有,有没有办法从我的df中创建带有标题的csv 我不使用pandas,我的dfs是用spark.sql()创建的。您可以用df读取pyspark中的蜂巢表数据,然后使用选项(“header”,“true”)编写带有头的df 示例: df=spark.sql("select * from <db>.<hive_table>") df.write.mode("overwrite").op
我不使用pandas,我的dfs是用spark.sql()创建的。您可以用df读取pyspark中的
蜂巢表数据,然后使用选项(“header”,“true”)
编写带有头的df
示例:
df=spark.sql("select * from <db>.<hive_table>")
df.write.mode("overwrite").option("header","true").csv("<file_path>")
#choosee mode either overwrite/append
df.write.mode("overwrite").saveAsTable("<hive_db>.<hive_table>")
#or using spark sql
df.createOrReplaceTempView("tmp")
spark.sql("insert into <hive_db>.<hive_table> select * from tmp")
谢谢你的回答。df.write.mode工作正常。对于蜂巢,我想将df放入表格,而不是将表格放入df。请检查答案的UPDATE
部分!