Hive Pyspark数据帧到配置单元表

Hive Pyspark数据帧到配置单元表,hive,pyspark,pyspark-sql,Hive,Pyspark,Pyspark Sql,如何将Pyspark DataFrame对象存储到配置单元表,“primary12345”是配置单元表? am使用以下代码masterDataDf是一个数据帧对象 masterDataDf.write.saveAsTable("default.primary12345") 低于误差 :java.lang.RuntimeException:使用SQLContext创建的表必须是临时的。改为使用HiveContext 您可以创建一个临时表 masterDataDf.createOrReplaceT

如何将Pyspark DataFrame对象存储到配置单元表,“primary12345”是配置单元表? am使用以下代码
masterDataDf
是一个数据帧对象

masterDataDf.write.saveAsTable("default.primary12345")
低于误差

:java.lang.RuntimeException:使用SQLContext创建的表必须是临时的。改为使用HiveContext


您可以创建一个临时表

masterDataDf.createOrReplaceTempView("mytempTable") 
然后,您可以使用简单的配置单元语句创建表并从临时表转储数据

sqlContext.sql("create table primary12345 as select * from mytempTable");

如果要使用HiveContext 您需要拥有/创建HiveContext

import org.apache.spark.sql.hive.HiveContext;

HiveContext sqlContext = new org.apache.spark.sql.hive.HiveContext(sc.sc());
然后直接保存dataframe或选择要存储为配置单元表的列

masterDataDf.write().mode("overwrite").saveAsTable("default.primary12345 ");

这段代码可能会重复,但我需要在spark应用程序中再添加两个配置