Apache spark 如何配置纱线以分配最少数量的容器?

Apache spark 如何配置纱线以分配最少数量的容器?,apache-spark,yarn,Apache Spark,Yarn,我在一个纱线簇上并行运行多个Spark作业。我发现Thread同时启动了许多这样的工作,但只为驱动程序分配了一个容器,没有执行器。这意味着这些Spark作业实际上处于空闲状态,等待执行器加入,而通过将执行器分配到其他作业,可以更好地利用这种处理能力 我想将Thread配置为至少为一个作业分配两个容器(一个驱动程序+一个执行器),如果没有,则将其保留在队列中。如何以这种方式配置纱线 (我在AWS EMR群集上运行,几乎具有所有默认设置。)如果您的纱线使用,您可以限制并发运行的应用程序的数量,以及A

我在一个纱线簇上并行运行多个Spark作业。我发现Thread同时启动了许多这样的工作,但只为驱动程序分配了一个容器,没有执行器。这意味着这些Spark作业实际上处于空闲状态,等待执行器加入,而通过将执行器分配到其他作业,可以更好地利用这种处理能力

我想将Thread配置为至少为一个作业分配两个容器(一个驱动程序+一个执行器),如果没有,则将其保留在队列中。如何以这种方式配置纱线

(我在AWS EMR群集上运行,几乎具有所有默认设置。)

如果您的纱线使用,您可以限制并发运行的应用程序的数量,以及AMs可以使用池的百分比(其余部分留给执行者):

maxRunningApps:限制队列中一次运行的应用程序数量

maxAMShare:限制队列的公平共享中可以使用的部分 用于运行应用程序主控程序。此属性只能用于 叶队列。例如,如果设置为1.0f,则叶队列中的AMs 可以占用100%的内存和CPU公平共享。价值 如果为-1.0f,则将禁用此功能,并且amShare将不会被禁用 选中的。默认值为0.5f