Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark SparkSession和SparkContext有什么区别?_Apache Spark_Apache Spark Sql - Fatal编程技术网

Apache spark SparkSession和SparkContext有什么区别?

Apache spark SparkSession和SparkContext有什么区别?,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我只知道版本差异,但不知道功能或其他。 i、 e Sparksession内部有sparkcontext和conf.在旧版本的Spark中,有不同的上下文进入不同的api(sparkcontext用于核心api,sql上下文用于Spark sql api,流式上下文用于数据流api等)这是开发人员困惑的根源,也是spark团队的优化点,因此在spark的最新版本中,只有一个入口点(spark会话),从中可以获得其他各种入口点(spark上下文、流式上下文等)这里有一个示例: colName =

我只知道版本差异,但不知道功能或其他。
i、 e Sparksession内部有sparkcontext和conf.

在旧版本的Spark中,有不同的上下文进入不同的api(sparkcontext用于核心api,sql上下文用于Spark sql api,流式上下文用于数据流api等)这是开发人员困惑的根源,也是spark团队的优化点,因此在spark的最新版本中,只有一个入口点(spark会话),从中可以获得其他各种入口点(spark上下文、流式上下文等)

这里有一个示例:

colName = "name of the column on wich you want to partition the query"
lowerBound = 0L
upperBound = xxxL // this is the max count in our database
numPartitions = 5 // example
spark.read.jdbc(url,tablename,colName,lowerBound,numPartitions,props).count() // this is a count but can be any query

计数将并行执行,结果将进入rdd的5个分区

,因此基本上如果我需要使用spark sql进行数据争用,我将不需要使用SparkContext,SparkSession就足够了吗?请原谅我的无知,我只是一名数据分析师,在分布式计算方面是个十足的新手。。