sparksql-pysparkapi与SQL查询

sparksql-pysparkapi与SQL查询,pyspark,apache-spark-sql,Pyspark,Apache Spark Sql,全部, 关于编写SparkSQL程序,我有一个问题,在编写SparkSQL程序和编写SparkSQL程序之间是否存在性能差异 SQLContext.sqlselect count*从表中选择不同的col1,col2 使用pysparkapi:df.selectcol1,col2.distinct.count。 我想听听将非常大的查询转换为Py Spark程序的建议和正确方法,比如1000行连接10+个表 我来自SQL背景,我们正在将现有逻辑转换为hadoop,因此SQL非常方便

全部,

关于编写SparkSQL程序,我有一个问题,在编写SparkSQL程序和编写SparkSQL程序之间是否存在性能差异

SQLContext.sqlselect count*从表中选择不同的col1,col2 使用pysparkapi:df.selectcol1,col2.distinct.count。 我想听听将非常大的查询转换为Py Spark程序的建议和正确方法,比如1000行连接10+个表

我来自SQL背景,我们正在将现有逻辑转换为hadoop,因此SQL非常方便