Python 火花:什么';s spark.sql和sqlCtx.sql之间的区别是什么

Python 火花:什么';s spark.sql和sqlCtx.sql之间的区别是什么,python,pyspark,pyspark-sql,Python,Pyspark,Pyspark Sql,在使用pyspark的Spark 2.1中,如果要查询表(例如从HDP),可以同时运行 df = sqlCtx.sql(''' select * from table ''') 及 你为什么要一个接一个?两者之间的区别是什么。sqlCtx是启动时创建的默认SQLContextspark是启动时创建的默认SparkSession。根据SparkSession的文档,它是SQLContext的替代品: 从Spark 2.0开始,这将被SparkSession取代。但是,为了向后兼容,我们将类保留

在使用pyspark的Spark 2.1中,如果要查询表(例如从HDP),可以同时运行

df = sqlCtx.sql(''' select * from table ''') 


你为什么要一个接一个?两者之间的区别是什么。

sqlCtx
是启动时创建的默认
SQLContext
spark
是启动时创建的默认
SparkSession
。根据
SparkSession
的文档,它是
SQLContext
的替代品:

从Spark 2.0开始,这将被SparkSession取代。但是,为了向后兼容,我们将类保留在这里


sqlCtx
是启动时创建的默认
SQLContext
spark
是启动时创建的默认
SparkSession
。根据
SparkSession
的文档,它是
SQLContext
的替代品:

从Spark 2.0开始,这将被SparkSession取代。但是,为了向后兼容,我们将类保留在这里

df = spark.sql(''' select * from table ''')