Apache spark 更好地理解纱线和火花之间的沟通

我想更好地了解纱线和火花之间的通信交流。 例如：

从触发Spark作业到按纱线分配资源，会发生什么情况

当Spark作业请求的资源超过了Thread提供的资源时，会发生什么情况

当Spark作业请求的资源超过集群容量时会发生什么情况

---

运行spark submit on Thread客户端模式时执行的步骤-

Spark驱动程序在内部调用

Client

class

submitApplication

方法。这将向纱线集群（即纱线资源管理器）提交Spark应用程序，并返回应用程序的ApplicationId

在此之后，spark使用步骤1中生成的应用程序_id并调用createContainerLaunchContext方法。此方法为Thread NodeManager创建一个Thread ContainerLaunchContext请求，以启动ApplicationMaster（在容器中）

步骤2负责为应用程序启动ApplicationMaster。如果集群没有资源启动AM，那么它将失败，驱动程序将异常关闭。AM启动并运行后，它会联系驾驶员并确认已启动。此时，spark纱线应用程序已启动并运行

之后，驱动程序向AM请求资源（执行器），AM随后向ResourceManager请求相同的资源

如果纱线没有那么大的容量，它将为火花应用提供一切可能。如果它有能力，它将给予任何要求

更多详情请参阅-