Hive Pyspark数据帧到配置单元表
如何将Pyspark DataFrame对象存储到配置单元表,“primary12345”是配置单元表? am使用以下代码Hive Pyspark数据帧到配置单元表,hive,pyspark,pyspark-sql,Hive,Pyspark,Pyspark Sql,如何将Pyspark DataFrame对象存储到配置单元表,“primary12345”是配置单元表? am使用以下代码masterDataDf是一个数据帧对象 masterDataDf.write.saveAsTable("default.primary12345") 低于误差 :java.lang.RuntimeException:使用SQLContext创建的表必须是临时的。改为使用HiveContext 您可以创建一个临时表 masterDataDf.createOrReplaceT
masterDataDf
是一个数据帧对象
masterDataDf.write.saveAsTable("default.primary12345")
低于误差
:java.lang.RuntimeException:使用SQLContext创建的表必须是临时的。改为使用HiveContext
您可以创建一个临时表
masterDataDf.createOrReplaceTempView("mytempTable")
然后,您可以使用简单的配置单元语句创建表并从临时表转储数据
sqlContext.sql("create table primary12345 as select * from mytempTable");
或
如果要使用HiveContext
您需要拥有/创建HiveContext
import org.apache.spark.sql.hive.HiveContext;
HiveContext sqlContext = new org.apache.spark.sql.hive.HiveContext(sc.sc());
然后直接保存dataframe或选择要存储为配置单元表的列
masterDataDf.write().mode("overwrite").saveAsTable("default.primary12345 ");
这段代码可能会重复,但我需要在spark应用程序中再添加两个配置