在Pyspark程序中包含配置单元查询
我是新加入Hive的,我需要在Pyspark程序中通过HiveContext创建一个新的Hive表在Pyspark程序中包含配置单元查询,pyspark,hive,apache-spark-sql,Pyspark,Hive,Apache Spark Sql,我是新加入Hive的,我需要在Pyspark程序中通过HiveContext创建一个新的Hive表 怎么做?请帮我解决这个问题。非常感谢 非常感谢!我可以在sqlCtx.sql内运行任何类型的配置单元查询吗?或者它是SparkSQL?Spark SQL几乎支持大多数配置单元查询,但很少支持。他们在这方面都有很好的记录,非常感谢你的帮助! import pyspark from pyspark.sql import HiveContext sqlCtx= HiveContext(sc) tes
怎么做?请帮我解决这个问题。非常感谢 非常感谢!我可以在sqlCtx.sql内运行任何类型的配置单元查询吗?或者它是SparkSQL?Spark SQL几乎支持大多数配置单元查询,但很少支持。他们在这方面都有很好的记录,非常感谢你的帮助!
import pyspark
from pyspark.sql import HiveContext
sqlCtx= HiveContext(sc)
test_df = spark.createDataFrame([(1, 'metric1', 10), (2, 'metric2', 20), (3, 'metric3', 30)], ['id', 'metric', 'score'])
test_df.registerTempTable("df_table")
sqlCtx.sql("CREATE TABLE df_hive_table AS SELECT * from df_table")