Amazon web services emr-6.0.0-beta2 HiveLLAP低vCore分配和利用

我有一个21节点的蜂巢LLAP EMR集群。 配置单元LLAP守护进程未使用可用的群集VCPU分配。 160芯可用于纱线，但每个LLAP守护进程仅使用1个V芯。 每个节点有64 GB内存和8个vCore。每个节点运行1个LLAP deamon及其分配的70%内存，但只有1个vCore。 部分物业：

   yarn.nodemanager.resource.cpu-vcores=8;
    yarn.scheduler.minimum-allocation-vcores=1;
    yarn.scheduler.maximum-allocation-vcores=128;
    hive.llap.daemon.vcpus.per.instance=4;
    hive.llap.daemon.num.executors=4;

为什么守护进程分配的vcore不超过1个？

---

执行者是否能够使用可用的vcore，或者只能使用分配给守护进程的1个vcore。

如果您在Thread ui中看到这一点，您可能必须添加它

warn.scheduler.capacity.resource-calculator:org.apache.hadoop.warn.util.resource.DominantResourceCalculator

我也有同样的困惑。实际上，在Thread UI中使用

DefaultResourceCalculator

时，它只计算内存使用情况，在幕后，它可能使用了多个内核，但您只会看到使用了一个内核。另一方面，

DominantResourceCalculator

计算用于资源分配的内核和内存，并显示内核和内存的实际数量

您可以启用ganglia或查看EMR度量以了解更多详细信息