Hadoop 纱线容量调度器并行化

Hadoop 纱线容量调度器并行化,hadoop,yarn,Hadoop,Yarn,纱线中的容量调度器是否为同一用户在同一队列上并行运行应用程序 例如:如果在具有相同用户的两个终端上有2个配置单元CLI,并且在这两个终端上启动了相同的查询,那么它们是并行执行还是顺序执行默认队列 当前,UI显示1个正在运行,1个处于挂起状态: 有办法并行运行吗?纱线容量调度器以FIFO方式为同一队列中提交的作业运行作业。例如,如果两个配置单元cli都已提交为默认队列,那么哪一个能够首先保护资源将进入运行状态,另一个将等待(仅当队列中没有足够的资源时) 如果你想要并行执行 1) 您可以在不同队列

纱线中的容量调度器是否为同一用户在同一队列上并行运行应用程序

例如:如果在具有相同用户的两个终端上有2个配置单元CLI,并且在这两个终端上启动了相同的查询,那么它们是并行执行还是顺序执行默认队列

当前,UI显示1个正在运行,1个处于挂起状态:


有办法并行运行吗?

纱线容量调度器以FIFO方式为同一队列中提交的作业运行作业。例如,如果两个配置单元cli都已提交为默认队列,那么哪一个能够首先保护资源将进入运行状态,另一个将等待(仅当队列中没有足够的资源时)

如果你想要并行执行 1) 您可以在不同队列中运行其他作业。您可以在上启动作业时定义队列名称。
2) 您需要以某种方式定义资源,以便两个作业都可以获得所需的资源。

检查warn.scheduler.capacity.maximum-applications/warn.scheduler.capacity..maximum-applications属性(),并告诉我它是否工作warn.scheduler.capacity.maximum-applications 10000自启动以来一直如此,所以这个参数没有帮助