Hadoop 计算能力调度算法

Capacity Scheduler允许沿组织线共享Hadoop集群，从而为每个组织分配整个集群的特定容量。

---

我想知道，如果出现大数据，那么分配给特定队列的容量将自动更改

在容量调度器配置中，我们定义了

warn.scheduler.capacity.root..capacity

和

warn.scheduler.capacity.root..maximum capacity

warn.scheduler.capacity.root..capacity

是队列的容量，而

warn.scheduler.capacity.root..maximum capacity

是该队列中所有作业/用户可以占用的最大资源

如果出现大数据，则分配给特定队列的容量将自动更改

不，队列大小是固定的，不会根据输入数据量自动更改。 您可以在

capacity scheduler.xml

中手动更改它，然后通过

ramadmin-refreshQueues

您可以编写一个脚本，根据输入数据量更新（和刷新）队列容量，但我不建议这样做