Hadoop';s容量计划程序-设置多个队列
我尝试设置两个队列-队列1,队列2。 我将这些队列的名称添加到mapred-site.xml中Hadoop';s容量计划程序-设置多个队列,hadoop,mapreduce,Hadoop,Mapreduce,我尝试设置两个队列-队列1,队列2。 我将这些队列的名称添加到mapred-site.xml中 <property> <name>mapred.queue.names</name> <value>queue1,queue2</value> </property> 我可以在中查看Jobtracker的WEB UI http://localhost:50030/ T
<property>
<name>mapred.queue.names</name>
<value>queue1,queue2</value>
</property>
我可以在中查看Jobtracker的WEB UI
http://localhost:50030/
Tasktracker的WEB用户界面
http://localhost:50060/
显示“无法连接”。但几秒钟后,jobtracker和tasktracker关闭。终端上的jps命令仅显示
17083 DataNode
16902 NameNode
17279 SecondaryNameNode
17703 Jps
解决方案是什么。您的两个队列的容量都是100%,这使得容量调度器认为有两个队列的容量都是100%。我建议您将设置更改为:
<?xml version="1.0"?>
<configuration>
<property>
<name>mapred.capacity-scheduler.maximum-system-jobs</name>
<value>3000</value>
</property>
<property>
<name>mapred.capacity-scheduler.queue.queue1.capacity</name>
<value>80</value> <!-- change here -->
</property>
<property>
<name>mapred.capacity-scheduler.queue.queue2.capacity</name>
<value>20</value> <!-- change here -->
</property>
<property>
<name>mapred.capacity-scheduler.queue.queue1.maximum-capacity</name>
<value>-1</value>
</property>
<property>
<name>mapred.capacity-scheduler.queue.queue2.maximum-capacity</name>
<value>-1</value>
</property>
mapred.capacity-scheduler.maximum-system-jobs
3000
mapred.capacity-scheduler.queue.queue1.capacity
80
mapred.capacity-scheduler.queue.queue2.capacity
20
mapred.capacity-scheduler.queue.queue1.maximum-capacity
-1
mapred.capacity-scheduler.queue.queue2.maximum-capacity
-1
所有队列的总和必须始终且仅为100(即100%),您可以有两个分别为100%和0%的队列-这是有效的
另外,我认为最好总是有一个“默认”队列,至少有一些分配。我不知道在没有默认队列名称的情况下,如果不指定队列名称,调度程序会怎么做。我面临着完全相同的问题,是否找到了解决方案?
17083 DataNode
16902 NameNode
17279 SecondaryNameNode
17703 Jps
<?xml version="1.0"?>
<configuration>
<property>
<name>mapred.capacity-scheduler.maximum-system-jobs</name>
<value>3000</value>
</property>
<property>
<name>mapred.capacity-scheduler.queue.queue1.capacity</name>
<value>80</value> <!-- change here -->
</property>
<property>
<name>mapred.capacity-scheduler.queue.queue2.capacity</name>
<value>20</value> <!-- change here -->
</property>
<property>
<name>mapred.capacity-scheduler.queue.queue1.maximum-capacity</name>
<value>-1</value>
</property>
<property>
<name>mapred.capacity-scheduler.queue.queue2.maximum-capacity</name>
<value>-1</value>
</property>