Hadoop Apache Thread fair scheduler一次只允许一个应用程序

Hadoop Apache Thread fair scheduler一次只允许一个应用程序,hadoop,yarn,cloudera-cdh,Hadoop,Yarn,Cloudera Cdh,我们有一个hadoop集群,配置了Cloudera CDH 5.4.2发行版,其中包含用于调度和管理资源的Thread fair scheduler。我们有18个工作节点,总计963GB主内存和288个vCore 现在的问题是,无论应用程序的资源需求有多小,我一次只能运行一个应用程序。例如,以下是动态资源池状态: 地位 纱线使用288个V孔和942 GiB内存。 资源池使用情况 此表和右侧的图表仅包含纱线的指标。 资源池名称已分配内存已分配VCores已分配容器挂起容器 根0b000 用户10B

我们有一个hadoop集群,配置了Cloudera CDH 5.4.2发行版,其中包含用于调度和管理资源的Thread fair scheduler。我们有18个工作节点,总计963GB主内存和288个vCore

现在的问题是,无论应用程序的资源需求有多小,我一次只能运行一个应用程序。例如,以下是动态资源池状态:

地位 纱线使用288个V孔和942 GiB内存。 资源池使用情况

此表和右侧的图表仅包含纱线的指标。 资源池名称已分配内存已分配VCores已分配容器挂起容器
根0b000
用户10B001
默认值为0 b0 0
用户2 22 GiB 11 1

对于用户2,即使在288个vCore和942 GiB内存中只分配了22GB和11个vCore,仍然有一个挂起的容器!知道发生了什么吗?几天前并非如此,不确定是什么设置导致了这种情况

这是我的warn-site.xml内容

 <?xml version="1.0" encoding="UTF-8"?>

    <!--Autogenerated by Cloudera Manager-->
    <configuration>
      <property>
        <name>yarn.acl.enable</name>
        <value>true</value>
      </property>
      <property>
        <name>yarn.admin.acl</name>
        <value>*</value>
      </property>
      <property>
        <name>yarn.resourcemanager.address</name>
        <value>hadoopmaster:8032</value>
      </property>
      <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>hadoopmaster:8033</value>
      </property>
      <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hadoopmaster:8030</value>
      </property>
      <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>hadoopmaster:8031</value>
      </property>
      <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>hadoopmaster:8088</value>
      </property>
      <property>
        <name>yarn.resourcemanager.webapp.https.address</name>
        <value>hadoopmaster:8090</value>
      </property>
      <property>
        <name>yarn.resourcemanager.client.thread-count</name>
        <value>50</value>
      </property>
      <property>
        <name>yarn.resourcemanager.scheduler.client.thread-count</name>
        <value>50</value>
      </property>
      <property>
        <name>yarn.resourcemanager.admin.client.thread-count</name>
        <value>1</value>
      </property>
      <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>2048</value>
      </property>
      <property>
        <name>yarn.scheduler.increment-allocation-mb</name>
        <value>512</value>
      </property>
      <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>65536</value>
      </property>
      <property>
        <name>yarn.scheduler.minimum-allocation-vcores</name>
        <value>1</value>
      </property>
      <property>
        <name>yarn.scheduler.increment-allocation-vcores</name>
        <value>1</value>
      </property>
      <property>
        <name>yarn.scheduler.maximum-allocation-vcores</name>
        <value>24</value>
      </property>
      <property>
        <name>yarn.resourcemanager.amliveliness-monitor.interval-ms</name>
        <value>1000</value>
      </property>
      <property>
        <name>yarn.am.liveness-monitor.expiry-interval-ms</name>
        <value>600000</value>
      </property>
      <property>
        <name>yarn.resourcemanager.am.max-attempts</name>
        <value>2</value>
      </property>
      <property>
        <name>yarn.resourcemanager.container.liveness-monitor.interval-ms</name>
        <value>600000</value>
      </property>
      <property>
        <name>yarn.resourcemanager.nm.liveness-monitor.interval-ms</name>
        <value>1000</value>
      </property>
      <property>
        <name>yarn.nm.liveness-monitor.expiry-interval-ms</name>
        <value>600000</value>
      </property>
      <property>
        <name>yarn.resourcemanager.resource-tracker.client.thread-count</name>
        <value>50</value>
      </property>
      <property>
        <name>yarn.application.classpath</name>
        <value>$HADOOP_CLIENT_CONF_DIR,$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,$HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*</value>
      </property>
      <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
      </property>
      <property>
        <name>yarn.scheduler.fair.user-as-default-queue</name>
        <value>true</value>
      </property>
      <property>
        <name>yarn.scheduler.fair.preemption</name>
        <value>true</value>
      </property>
      <property>
        <name>yarn.scheduler.fair.sizebasedweight</name>
        <value>false</value>
      </property>
      <property>
        <name>yarn.scheduler.fair.assignmultiple</name>
        <value>true</value>
      </property>
      <property>
        <name>yarn.resourcemanager.max-completed-applications</name>
        <value>10000</value>
      </property>
    </configuration>

warn.acl.enable
符合事实的
warn.admin.acl
*
.resourcemanager.address
Hadoop主机:8032
warn.resourcemanager.admin.address
Hadoop主机:8033
warn.resourcemanager.scheduler.address
Hadoop主机:8030
warn.resourcemanager.resource-tracker.address
Hadoop主机:8031
warn.resourcemanager.webapp.address
Hadoop主机:8088
warn.resourcemanager.webapp.https.address
Hadoop主机:8090
thread.resourcemanager.client.thread-count
50
thread.resourcemanager.scheduler.client.thread-count
50
thread.resourcemanager.admin.client.thread-count
1.
warn.scheduler.minimum-allocation-mb
2048
warn.scheduler.increment-allocation-mb
512
warn.scheduler.maximum-allocation-mb
65536
纱线.调度器.最小分配-vcores
1.
纱线.scheduler.increment-allocation-vcores
1.
纱线.scheduler.maximum-allocation-vcores
24
warn.resourcemanager.amliveity-monitor.interval-ms
1000
纱线.am.liveness-monitor.Expiration-interval-ms
600000
warn.resourcemanager.am.max-tests
2.
warn.resourcemanager.container.liveness-monitor.interval-ms
600000
warn.resourcemanager.nm.liveness-monitor.interval-ms
1000
纱线.nm.活性-监视器.有效期-间隔-ms
600000
thread.resourcemanager.resource-tracker.client.thread-count
50
.application.classpath
$HADOOP_CLIENT_CONF_DIR、$HADOOP_CONF_DIR、$HADOOP_COMMON_HOME/*、$HADOOP_COMMON_HOME/lib/*、$HADOOP_HDFS_HOME/*、$HADOOP_HDFS_HOME/lib/*、$HADOOP_纱线_HOME/*、$HADOOP_纱线_HOME/lib/*
warn.resourcemanager.scheduler.class
org.apache.hadoop.warn.server.resourcemanager.scheduler.fair.FairScheduler
warn.scheduler.fair.user-as-default-queue
符合事实的
纱线、排程器、公平、优先购买权
符合事实的
纱线.排程器.公平.尺码固定重量
错误的
纱线。调度。公平。分配
符合事实的
warn.resourcemanager.max-completed-applications
10000

请检查fair-scheduler.xml文件中的值“maxRunningApps”,该值定义了可在任何队列中运行的并发应用程序的数量


请参阅

能否请检查fair-scheduler.xml文件中的值“maxRunningApps”,该值定义了可在任何队列中运行的并发应用程序的数量


请参阅

您是否能够解决此问题。我也有同样的问题,所以我想知道。谢谢你能解决这个问题。我也有同样的问题,所以我想知道。谢谢