Apache spark 在群集模式下执行spark作业时,驱动程序将在何处执行

Apache spark 在群集模式下执行spark作业时,驱动程序将在何处执行,apache-spark,pyspark,Apache Spark,Pyspark,假设我们有一个纱线集群,它有300个数据节点+1个名称节点。如果我们在集群模式下执行spark作业,那么驱动程序将从何处开始?我已经读到,驱动程序将驻留在集群模式下的应用程序主机中。那么,这是否意味着驱动程序将驻留在该特定作业的300个数据节点中的任何一个 例如,对于每个spark作业,将创建一个驱动程序。因此,让我们假设第一个作业是在集群模式下执行的,并拾取第54个数据节点以在那里启动驱动程序。如果下一个作业在集群模式下执行,它会在集群中拾取一些随机数据节点并在那里启动驱动程序吗?有人能澄清一

假设我们有一个纱线集群,它有300个数据节点+1个名称节点。如果我们在集群模式下执行spark作业,那么驱动程序将从何处开始?我已经读到,驱动程序将驻留在集群模式下的应用程序主机中。那么,这是否意味着驱动程序将驻留在该特定作业的300个数据节点中的任何一个


例如,对于每个spark作业,将创建一个驱动程序。因此,让我们假设第一个作业是在集群模式下执行的,并拾取第54个数据节点以在那里启动驱动程序。如果下一个作业在集群模式下执行,它会在集群中拾取一些随机数据节点并在那里启动驱动程序吗?有人能澄清一下吗?

是的,正确,驱动程序将在您的任何一个数据节点上运行

在群集模式下,Spark驱动程序在由群集上的Thread管理的应用程序主进程内运行,客户端可以在启动应用程序后离开