Yarn 获取纱线容器';s的实际内存使用情况

Yarn 获取纱线容器';s的实际内存使用情况,yarn,hadoop2,Yarn,Hadoop2,我发现,根据这个jira票证(),Thread支持一个容器的实际内存使用统计数据。我想知道,如果给定应用程序id,我们可以使用任何THEAN命令获取分配给该作业的容器的内存使用情况列表吗?我使用的是Hadoop 2.7.0 CLI: CLI不公开与容器相关的内存度量 您可以使用以下命令查询容器的状态:warn container-status命令 例如,当我执行此命令时,我得到以下输出: CMD PROMPT>yarn container -status container_e55_145

我发现,根据这个jira票证(),Thread支持一个容器的实际内存使用统计数据。我想知道,如果给定应用程序id,我们可以使用任何THEAN命令获取分配给该作业的容器的内存使用情况列表吗?

我使用的是Hadoop 2.7.0

CLI:

CLI不公开与容器相关的内存度量

您可以使用以下命令查询容器的状态:
warn container-status
命令

例如,当我执行此命令时,我得到以下输出:

CMD PROMPT>yarn container -status container_e55_1451819646302_0001_01_000007

Container Report :
        Container-Id : container_e55_1451819646302_0001_01_000007
        Start-Time : 1451909358911
        Finish-Time : 0
        State : RUNNING
        LOG-URL : http://mballur.myorg.com:50060/node/containerlogs/container_e55_1451819646302_0001_01_000007/mballur
        Host : mballur.myorg.com:45454
        NodeHttpAddress : http://mballur.myorg.com:50060
        Diagnostics : null
容器报告包含(不包含任何内存相关信息):

  • 容器Id:容器的Id
  • 开始时间:容器的开始时间
  • 完成时间:conataine的完成时间。零,如果容器仍在运行
  • 状态:容器的状态
  • LOG-URL:容器的日志URL
  • 主机:节点ID,容器在其中运行
  • NodeHttpAddress:容器的HTTP地址
  • 诊断:任何诊断信息
UI:

但是,在UI中,当您打开特定容器的页面时,您将看到以下详细信息:


UI包含容器的资源:信息。在那里您可以看到内存和CPU使用情况(1228内存,1个VCores)

您的意思是通过命令行界面?您想通过Thread CLI访问此信息,对吗?基本上是的,如果Thread提供的任何其他替代方案也很好的话。感谢您提供的信息。还有一个问题是:UI中显示的内存是容器的实时消耗还是其他任何东西?是的。这主要由以下属性决定:mapreduce.map.memory.mb和mapreduce.reduce.memory.mb谢谢您的快速评论。我脑子里还有几件事:如果不是像分布式shell或spark这样的map reduce作业,情况会怎样?我还看到,在整个作业执行过程中,内存一直是恒定的,这让我感觉它是否真的是实时的。对不起,我没有使用spark。但是,我相信Spark jobs也会有类似的设置。每个应用程序都可以有自己的自定义设置,用于确定容器的大小。这个内存是分配给容器的总物理内存(在我的例子中是1228MB)。请查看此处的博客,其中解释:。查看“配置MapReduce 2”一节。找到此页面的方式是:
应用程序->尝试->容器
,而不是
应用程序->应用程序管理员