Scala 如何通过编程知道应用程序是在客户机模式下运行还是在集群部署模式下运行?
是否有可能以编程方式知道Spark程序在哪种模式下运行?例如,无论它是在Scala 如何通过编程知道应用程序是在客户机模式下运行还是在集群部署模式下运行?,scala,apache-spark,yarn,Scala,Apache Spark,Yarn,是否有可能以编程方式知道Spark程序在哪种模式下运行?例如,无论它是在纱线簇还是纱线客户端模式下运行?您可以使用SparkContext val sc: SparkContext = ??? sc.deployMode 如果使用SparkSession您必须首先访问SparkContext实例: val spark: SparkSession = ??? spark.sparkContext.deployMode 当然,您可以将其与mastercall结合使用,以获得完整信息: sc.ma
纱线簇
还是纱线客户端
模式下运行?您可以使用SparkContext
val sc: SparkContext = ???
sc.deployMode
如果使用SparkSession
您必须首先访问SparkContext
实例:
val spark: SparkSession = ???
spark.sparkContext.deployMode
当然,您可以将其与master
call结合使用,以获得完整信息:
sc.master
您可以使用SparkContext
val sc: SparkContext = ???
sc.deployMode
如果使用SparkSession
您必须首先访问SparkContext
实例:
val spark: SparkSession = ???
spark.sparkContext.deployMode
当然,您可以将其与master
call结合使用,以获得完整信息:
sc.master
我认为它是在Spark 2之前,现在已经没有
纱线客户端
和纱线簇
了-->它已经被弃用了,但人们仍然可以使用它。现在,我们不用--master warn cluster,而是编写--master warn--deploy mode cluster,例如,我认为它是在Spark 2之前,没有warn client
和warn cluster
了-->它已经被弃用了,但人们仍然可以使用它。现在,我们不需要--master warn cluster,而是编写--master warn--deploy mode cluster,例如。