Yarn 纱线中资源管理器、节点管理器和应用程序主机的高可用性

Yarn 纱线中资源管理器、节点管理器和应用程序主机的高可用性,yarn,Yarn,通过阅读有关Thread的文档,我找不到任何有关Thread中资源管理器、节点管理器和应用程序主机的HA的相关信息。它们是单点故障吗?如果有,是否有任何改进计划 纱线簇由潜在的大量机器(“节点”)组成。要成为集群的一部分,每个节点至少运行一个服务守护进程。服务守护进程的类型决定此节点在集群中执行的任务 几乎所有节点都运行“节点管理器”服务deamon,这使它们成为“常规”节点。节点管理器负责在这台机器上执行纱线作业的某一部分,而其他部分则在其他节点上执行。只有在每个节点上运行单个节点管理器才有意

通过阅读有关Thread的文档,我找不到任何有关Thread中资源管理器、节点管理器和应用程序主机的HA的相关信息。它们是单点故障吗?如果有,是否有任何改进计划

纱线簇由潜在的大量机器(“节点”)组成。要成为集群的一部分,每个节点至少运行一个服务守护进程。服务守护进程的类型决定此节点在集群中执行的任务

几乎所有节点都运行“节点管理器”服务deamon,这使它们成为“常规”节点。节点管理器负责在这台机器上执行纱线作业的某一部分,而其他部分则在其他节点上执行。只有在每个节点上运行单个节点管理器才有意义。对于1000节点的纱线集群,大约有999个节点管理器在运行。因此,节点管理器实际上是冗余分布在集群中的。如果一个节点管理器出现故障,将指派其他节点管理器接管其任务

每个纱线作业都是自己的应用程序,并且在其中一个节点上为作业启动专用的应用程序主守护程序。对于另一个应用程序,另一个应用程序主机在另一个节点上启动。应用程序的实际工作甚至在集群中的其他节点上执行。应用程序主控程序仅控制应用程序的整体执行。如果一个应用程序主程序死亡,则整个应用程序失败,但其他应用程序将继续。必须重新启动失败的应用程序


resource manager守护进程运行在一个专用的Thread节点上,其任务仅是启动应用程序(通过启动相关的应用程序主节点),收集集群中所有节点的信息,并将计算资源分配给应用程序。资源管理器目前不是为HA构建的,但这通常不是问题。如果资源管理器死机,则需要重新启动所有应用程序。

一个纱线集群由可能大量的机器(“节点”)组成。要成为集群的一部分,每个节点至少运行一个服务守护进程。服务守护进程的类型决定此节点在集群中执行的任务

几乎所有节点都运行“节点管理器”服务deamon,这使它们成为“常规”节点。节点管理器负责在这台机器上执行纱线作业的某一部分,而其他部分则在其他节点上执行。只有在每个节点上运行单个节点管理器才有意义。对于1000节点的纱线集群,大约有999个节点管理器在运行。因此,节点管理器实际上是冗余分布在集群中的。如果一个节点管理器出现故障,将指派其他节点管理器接管其任务

每个纱线作业都是自己的应用程序,并且在其中一个节点上为作业启动专用的应用程序主守护程序。对于另一个应用程序,另一个应用程序主机在另一个节点上启动。应用程序的实际工作甚至在集群中的其他节点上执行。应用程序主控程序仅控制应用程序的整体执行。如果一个应用程序主程序死亡,则整个应用程序失败,但其他应用程序将继续。必须重新启动失败的应用程序


resource manager守护进程运行在一个专用的Thread节点上,其任务仅是启动应用程序(通过启动相关的应用程序主节点),收集集群中所有节点的信息,并将计算资源分配给应用程序。资源管理器目前不是为HA构建的,但这通常不是问题。如果资源管理器死机,则需要重新启动所有应用程序。

一个纱线集群由可能大量的机器(“节点”)组成。要成为集群的一部分,每个节点至少运行一个服务守护进程。服务守护进程的类型决定此节点在集群中执行的任务

几乎所有节点都运行“节点管理器”服务deamon,这使它们成为“常规”节点。节点管理器负责在这台机器上执行纱线作业的某一部分,而其他部分则在其他节点上执行。只有在每个节点上运行单个节点管理器才有意义。对于1000节点的纱线集群,大约有999个节点管理器在运行。因此,节点管理器实际上是冗余分布在集群中的。如果一个节点管理器出现故障,将指派其他节点管理器接管其任务

每个纱线作业都是自己的应用程序,并且在其中一个节点上为作业启动专用的应用程序主守护程序。对于另一个应用程序,另一个应用程序主机在另一个节点上启动。应用程序的实际工作甚至在集群中的其他节点上执行。应用程序主控程序仅控制应用程序的整体执行。如果一个应用程序主程序死亡,则整个应用程序失败,但其他应用程序将继续。必须重新启动失败的应用程序


resource manager守护进程运行在一个专用的Thread节点上,其任务仅是启动应用程序(通过启动相关的应用程序主节点),收集集群中所有节点的信息,并将计算资源分配给应用程序。资源管理器目前不是为HA构建的,但这通常不是问题。如果资源管理器死机,则需要重新启动所有应用程序。

一个纱线集群由可能大量的机器(“节点”)组成。要成为集群的一部分,每个节点至少运行一个服务守护进程。服务守护进程的类型决定此节点在集群中执行的任务

几乎所有节点都运行“节点管理器”服务deamon,这使它们成为“常规”节点。节点管理器负责在这台机器上执行纱线作业的某一部分,而其他部分则在其他节点上执行。只有在每个节点上运行单个节点管理器才有意义