Apache spark 在纱线簇模式下,火花容器的入口点是什么?

Apache spark 在纱线簇模式下,火花容器的入口点是什么?,apache-spark,yarn,Apache Spark,Yarn,当火花作业在纱线束模式下运行时(对于火花1.2.0+),火花执行器的主要入口点是什么 我要寻找的是执行器入口点的Scala类名(它将是在从机上执行其中一个任务的进程) 因此,鉴于上述情况,要使用的类是指定的类,它从给定的jar加载,并在该类中搜索static main方法 发件人: 因此,鉴于上述情况,要使用的类是指定的类,它从给定的jar加载,并在该类中搜索static main方法 发件人: 我想你问的是或者可能是。最终将是TaskRunner 它与部署模式(clientvscluster)

当火花作业在纱线束模式下运行时(对于火花1.2.0+),火花执行器的主要入口点是什么

我要寻找的是执行器入口点的Scala类名(它将是在从机上执行其中一个任务的进程)

因此,鉴于上述情况,要使用的类是指定的类,它从给定的jar加载,并在该类中搜索
static main
方法

发件人:

因此,鉴于上述情况,要使用的类是指定的类,它从给定的jar加载,并在该类中搜索
static main
方法

发件人:


我想你问的是或者可能是。最终将是
TaskRunner


它与部署模式(
client
vs
cluster
)或使用的集群管理器无关,即Hadoop Thread、Spark Standalone或Apache Mesos。

我想您要问的是或者可能是。最终将是
TaskRunner

它与部署模式(
client
vs
cluster
)或使用的集群管理器无关,即Hadoop Thread或Spark Standalone或Apache Mesos

spark-submit --class [FULLY QUALIFIED CLASS NAME]
             --master yarn-cluster
             [JAR_TO_USE]
val mainMethod = mainClass.getMethod("main", new Array[String](0).getClass)