Apache spark 如何将spark数据帧写入ORC存储中的配置单元表_Apache Spark_Dataframe_Hive_Orc

Apache spark 如何将spark数据帧写入ORC存储中的配置单元表

apache-spark dataframe hive

Apache spark 如何将spark数据帧写入ORC存储中的配置单元表,apache-spark,dataframe,hive,orc,Apache Spark,Dataframe,Hive,Orc,上面的代码，thirdCateBrandres是一个sparkDataFrame，注册为临时表，然后写入表temp\u cate3\u Brand\u List，该表有30亿行，包含7个字段，ORC+SNAPPY格式的数据大小约为4GB。这些代码花了大约20分钟如何提高程序速度？ thirdCateBrandres.createOrReplaceTempView("tempTable2") sql("insert overwrite table temp_cate3_Brand_List s

上面的代码，

thirdCateBrandres

是一个spark

DataFrame

，注册为临时表，然后写入表

temp\u cate3\u Brand\u List

，该表有30亿行，包含7个字段，ORC+SNAPPY格式的数据大小约为4GB。这些代码花了大约20分钟

如何提高程序速度？

thirdCateBrandres.createOrReplaceTempView("tempTable2")
sql("insert overwrite table temp_cate3_Brand_List select * from tempTable2")