Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/18.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 如何通过编程知道应用程序是在客户机模式下运行还是在集群部署模式下运行?_Scala_Apache Spark_Yarn - Fatal编程技术网

Scala 如何通过编程知道应用程序是在客户机模式下运行还是在集群部署模式下运行?

Scala 如何通过编程知道应用程序是在客户机模式下运行还是在集群部署模式下运行?,scala,apache-spark,yarn,Scala,Apache Spark,Yarn,是否有可能以编程方式知道Spark程序在哪种模式下运行?例如,无论它是在纱线簇还是纱线客户端模式下运行?您可以使用SparkContext val sc: SparkContext = ??? sc.deployMode 如果使用SparkSession您必须首先访问SparkContext实例: val spark: SparkSession = ??? spark.sparkContext.deployMode 当然,您可以将其与mastercall结合使用,以获得完整信息: sc.ma

是否有可能以编程方式知道Spark程序在哪种模式下运行?例如,无论它是在
纱线簇
还是
纱线客户端
模式下运行?

您可以使用
SparkContext

val sc: SparkContext = ???
sc.deployMode
如果使用
SparkSession
您必须首先访问
SparkContext
实例:

val spark: SparkSession = ???
spark.sparkContext.deployMode
当然,您可以将其与
master
call结合使用,以获得完整信息:

sc.master
您可以使用
SparkContext

val sc: SparkContext = ???
sc.deployMode
如果使用
SparkSession
您必须首先访问
SparkContext
实例:

val spark: SparkSession = ???
spark.sparkContext.deployMode
当然,您可以将其与
master
call结合使用,以获得完整信息:

sc.master

我认为它是在Spark 2之前,现在已经没有
纱线客户端
纱线簇
了-->它已经被弃用了,但人们仍然可以使用它。现在,我们不用--master warn cluster,而是编写--master warn--deploy mode cluster,例如,我认为它是在Spark 2之前,没有
warn client
warn cluster
了-->它已经被弃用了,但人们仍然可以使用它。现在,我们不需要--master warn cluster,而是编写--master warn--deploy mode cluster,例如。