Pyspark sqlContext.read.format和registerDataFrameAsTable
我刚开始使用spark sql,想知道在加载数据帧后如何使用“registerDataFrameAsTable”将其转换为表??我所有的标题和格式都是正确的,但我似乎无法将其转换为表。是否有其他方法可以使用Pyspark sqlContext.read.format和registerDataFrameAsTable,pyspark,pyspark-sql,Pyspark,Pyspark Sql,我刚开始使用spark sql,想知道在加载数据帧后如何使用“registerDataFrameAsTable”将其转换为表??我所有的标题和格式都是正确的,但我似乎无法将其转换为表。是否有其他方法可以使用 df = (sqlContext.read.format("com.databricks.spark.csv") .option("header", "true") .load(dir)) 这是我上面正在加
df = (sqlContext.read.format("com.databricks.spark.csv")
.option("header", "true")
.load(dir))
这是我上面正在加载csv的代码。您是否尝试过
df.registerTempTable('table_name')
?谢谢您解决了这个问题!
'df.registerTempTable('table_name')
'sqlContext.sql("create table table_name as select * from table_name")'