Apache spark 纱线容器和火花执行器

Apache spark 纱线容器和火花执行器,apache-spark,hadoop,yarn,Apache Spark,Hadoop,Yarn,我目前有一个功能正常的集群,包括1个驱动程序(8核和32GB RAM)和2个工作程序(一个是8核和32GB RAM,另一个是8核和16gb RAM) 然而,为了最大限度地提高效率,我似乎对生成的容器和Spark执行器有点混淆 我当前的配置如下: 工人1: 工人2: 我的SparkSession配置如下: 我预计会有3个容器在纱线中运行,1个用于驱动,2个用于Spark,但我得到的输出如下: 只有两个容器,其中一个分配给RM,第二个分配给Worker。但是,如果我的工作人员(具有16gb

我目前有一个功能正常的集群,包括1个驱动程序(8核和32GB RAM)和2个工作程序(一个是8核和32GB RAM,另一个是8核和16gb RAM)

然而,为了最大限度地提高效率,我似乎对生成的容器和Spark执行器有点混淆

我当前的配置如下:

工人1:

工人2:

我的SparkSession配置如下:

我预计会有3个容器在纱线中运行,1个用于驱动,2个用于Spark,但我得到的输出如下:

只有两个容器,其中一个分配给RM,第二个分配给Worker。但是,如果我的工作人员(具有16gb RAM的工作人员)正在创建一个执行器,那么另一个为什么不创建执行器呢

如何实现最大资源利用率以拥有高速Spark应用程序