Hadoop 应用程序主资源分配

Hadoop 应用程序主资源分配,hadoop,hive,yarn,Hadoop,Hive,Yarn,我有一个运行HDP2.3的5节点hadoop集群。我想知道资源管理器如何决定为应用程序主机分配多少资源 打开资源管理器UI的“计划程序”选项卡并展开使用情况详细信息队列时,可以找到以下属性 最大应用程序主资源 已使用的应用程序主资源 每个用户的最大应用程序主资源 打开mapred-site.xml文件时,我发现属性warn.app.mapreduce.am.resource.mb的值设置为682mb 然而,在打开hive终端时,我总是看到应用程序主容器使用1个vcore获得1024mb 应用程序

我有一个运行HDP2.3的5节点hadoop集群。我想知道资源管理器如何决定为应用程序主机分配多少资源

打开资源管理器UI的“计划程序”选项卡并展开使用情况详细信息队列时,可以找到以下属性

  • 最大应用程序主资源
  • 已使用的应用程序主资源
  • 每个用户的最大应用程序主资源
  • 打开mapred-site.xml文件时,我发现属性
    warn.app.mapreduce.am.resource.mb
    的值设置为682mb

    然而,在打开hive终端时,我总是看到应用程序主容器使用1个vcore获得1024mb

    应用程序主控程序是否对不同类型的应用程序有不同的要求


    我希望有人能告诉我决定上述指标的属性。

    请查看warn-site.xml中的
    warn.scheduler.minimum allocation mb
    属性。它为资源调度器定义每个容器的粒度。因此,只能使用等于此属性值的内存插槽进行操作。因此,如果此属性设置为1024mb,682mb将变为1024mb。感谢您的输入@DmitryY。我忘了提到hive正在使用tez引擎。因此,应用程序主机需求由tez中的配置决定,特别是tez.am.resource.memory.mb属性设置为1024,tez.am.resource.cpu.vcores属性设置为1。