Hadoop';s容量计划程序-设置多个队列

Hadoop';s容量计划程序-设置多个队列,hadoop,mapreduce,Hadoop,Mapreduce,我尝试设置两个队列-队列1,队列2。 我将这些队列的名称添加到mapred-site.xml中 <property> <name>mapred.queue.names</name> <value>queue1,queue2</value> </property> 我可以在中查看Jobtracker的WEB UI http://localhost:50030/ T

我尝试设置两个队列-队列1,队列2。 我将这些队列的名称添加到mapred-site.xml中

    <property>
        <name>mapred.queue.names</name>
        <value>queue1,queue2</value>
    </property> 
我可以在中查看Jobtracker的WEB UI

    http://localhost:50030/ 
Tasktracker的WEB用户界面

    http://localhost:50060/
显示“无法连接”。但几秒钟后,jobtracker和tasktracker关闭。终端上的jps命令仅显示

    17083 DataNode
    16902 NameNode
    17279 SecondaryNameNode
    17703 Jps

解决方案是什么。

您的两个队列的容量都是100%,这使得容量调度器认为有两个队列的容量都是100%。我建议您将设置更改为:

<?xml version="1.0"?>
<configuration>
     <property>
        <name>mapred.capacity-scheduler.maximum-system-jobs</name>
        <value>3000</value>   
     </property>
     <property>
        <name>mapred.capacity-scheduler.queue.queue1.capacity</name>
        <value>80</value> <!-- change here -->
     </property>
     <property>
        <name>mapred.capacity-scheduler.queue.queue2.capacity</name>
        <value>20</value> <!-- change here -->   
     </property>

     <property>
        <name>mapred.capacity-scheduler.queue.queue1.maximum-capacity</name>
        <value>-1</value>
     </property>
     <property>
        <name>mapred.capacity-scheduler.queue.queue2.maximum-capacity</name>
        <value>-1</value>
     </property>

mapred.capacity-scheduler.maximum-system-jobs
3000
mapred.capacity-scheduler.queue.queue1.capacity
80
mapred.capacity-scheduler.queue.queue2.capacity
20
mapred.capacity-scheduler.queue.queue1.maximum-capacity
-1
mapred.capacity-scheduler.queue.queue2.maximum-capacity
-1

所有队列的总和必须始终且仅为100(即100%),您可以有两个分别为100%和0%的队列-这是有效的


另外,我认为最好总是有一个“默认”队列,至少有一些分配。我不知道在没有默认队列名称的情况下,如果不指定队列名称,调度程序会怎么做。

我面临着完全相同的问题,是否找到了解决方案?
    17083 DataNode
    16902 NameNode
    17279 SecondaryNameNode
    17703 Jps
<?xml version="1.0"?>
<configuration>
     <property>
        <name>mapred.capacity-scheduler.maximum-system-jobs</name>
        <value>3000</value>   
     </property>
     <property>
        <name>mapred.capacity-scheduler.queue.queue1.capacity</name>
        <value>80</value> <!-- change here -->
     </property>
     <property>
        <name>mapred.capacity-scheduler.queue.queue2.capacity</name>
        <value>20</value> <!-- change here -->   
     </property>

     <property>
        <name>mapred.capacity-scheduler.queue.queue1.maximum-capacity</name>
        <value>-1</value>
     </property>
     <property>
        <name>mapred.capacity-scheduler.queue.queue2.maximum-capacity</name>
        <value>-1</value>
     </property>