Hive 如何使用jupyter笔记本在pyspark的配置单元上启用带%SQL魔术字符串的spark SQL

Hive 如何使用jupyter笔记本在pyspark的配置单元上启用带%SQL魔术字符串的spark SQL,hive,pyspark,jupyter-notebook,Hive,Pyspark,Jupyter Notebook,如何在jupyter笔记本上启用%sql Magic string,以及如何在具有以下代码行的单元格上使用%sql Magic string spark.sql('select * from test').show() 使用Spark sql不需要%sql神奇字符串。您需要首先创建Spark数据帧,如中所述,例如使用df=createDataFrame(data)。然后创建一个全局视图,调用df.createOrReplaceTempView(“test”)。那么您的上述查询就可以了。试试看

如何在jupyter笔记本上启用
%sql Magic string
,以及如何在具有以下代码行的单元格上使用%sql Magic string

spark.sql('select * from test').show()

使用Spark sql不需要%sql神奇字符串。您需要首先创建Spark数据帧,如中所述,例如使用
df=createDataFrame(data)
。然后创建一个全局视图,调用
df.createOrReplaceTempView(“test”)
。那么您的上述查询就可以了。

试试看

%%sql
select * from test
%%sparksql
select * from test
链接 试试看

%%sql
select * from test
%%sparksql
select * from test
在尝试安装之前

pip安装sparksql magic


请参阅:

如何在jupyter笔记本中使用%sql magic string的上述查询,如何通过%sql启用spark sql,像在Databricks上一样工作可以安装ParkMagic,但在笔记本%sql上没有列出magic string,请参见上图。