Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/jenkins/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark SparkEnv是在Spark 2中创建SparkSession之后创建的吗?_Apache Spark_Apache Spark Sql - Fatal编程技术网

Apache spark SparkEnv是在Spark 2中创建SparkSession之后创建的吗?

Apache spark SparkEnv是在Spark 2中创建SparkSession之后创建的吗?,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,在Spark 1.6中,创建新的SparkContext对象后,会自动创建SparkEnv 在Spark 2.0中,SparkSession作为Spark SQL的入口点引入 在Spark 2中创建SparkSession后,SparkEnv是否自动创建?是,SparkEnv、SparkConf和SparkContext都是在创建SparkSession时自动创建的(这就是为什么Spark SQL中的相应代码更高级,并且希望更少出错) SparkEnv是Spark运行时基础设施的一部分,在使用S

在Spark 1.6中,创建新的
SparkContext
对象后,会自动创建
SparkEnv

在Spark 2.0中,
SparkSession
作为Spark SQL的入口点引入


在Spark 2中创建SparkSession后,
SparkEnv
是否自动创建?

是,
SparkEnv
SparkConf
SparkContext
都是在创建
SparkSession
时自动创建的(这就是为什么Spark SQL中的相应代码更高级,并且希望更少出错)

SparkEnv
是Spark运行时基础设施的一部分,在使用Spark SQL(或Spark MLlib)中的高级API之前,需要启动并运行Spark Core的所有低级服务。此处没有任何更改

scala> :type spark
org.apache.spark.sql.SparkSession

scala> spark.sparkContext
res1: org.apache.spark.SparkContext = org.apache.spark.SparkContext@1e86506c