Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/jsf-2/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
在Pyspark程序中包含配置单元查询_Pyspark_Hive_Apache Spark Sql - Fatal编程技术网

在Pyspark程序中包含配置单元查询

在Pyspark程序中包含配置单元查询,pyspark,hive,apache-spark-sql,Pyspark,Hive,Apache Spark Sql,我是新加入Hive的,我需要在Pyspark程序中通过HiveContext创建一个新的Hive表 怎么做?请帮我解决这个问题。非常感谢 非常感谢!我可以在sqlCtx.sql内运行任何类型的配置单元查询吗?或者它是SparkSQL?Spark SQL几乎支持大多数配置单元查询,但很少支持。他们在这方面都有很好的记录,非常感谢你的帮助! import pyspark from pyspark.sql import HiveContext sqlCtx= HiveContext(sc) tes

我是新加入Hive的,我需要在Pyspark程序中通过HiveContext创建一个新的Hive表


怎么做?请帮我解决这个问题。非常感谢

非常感谢!我可以在sqlCtx.sql内运行任何类型的配置单元查询吗?或者它是SparkSQL?Spark SQL几乎支持大多数配置单元查询,但很少支持。他们在这方面都有很好的记录,非常感谢你的帮助!
import pyspark
from pyspark.sql import HiveContext

sqlCtx= HiveContext(sc)

test_df = spark.createDataFrame([(1, 'metric1', 10), (2, 'metric2', 20), (3, 'metric3', 30)], ['id', 'metric', 'score'])
test_df.registerTempTable("df_table")

sqlCtx.sql("CREATE TABLE df_hive_table AS SELECT * from df_table")