如何获得hadoop应用程序的内存和CPU使用率?

如何获得hadoop应用程序的内存和CPU使用率?,hadoop,memory,mapreduce,cpu-usage,yarn,Hadoop,Memory,Mapreduce,Cpu Usage,Yarn,我想问一下,在我运行hadoop mapreduce应用程序之后,如何获得该应用程序的总内存和CPU使用率。我在日志和资源管理器网页上看到过,但我没有看到 可能吗?我可以在每个作业执行或每个应用程序上获得它吗?我可以在每个节点使用率或总使用率上获得它吗 非常感谢……是的,您可以很好地检查应用程序的总内存和cpu使用情况 您可以使用Job tracker UI,单击完成页面上的counters链接,可能会得到如下典型视图。内存和cpu计数器突出显示 单击突出显示的链接将显示作业的每个任务(映射/

我想问一下,在我运行hadoop mapreduce应用程序之后,如何获得该应用程序的总内存和CPU使用率。我在日志和资源管理器网页上看到过,但我没有看到

可能吗?我可以在每个作业执行或每个应用程序上获得它吗?我可以在每个节点使用率或总使用率上获得它吗


非常感谢……

是的,您可以很好地检查应用程序的总内存和cpu使用情况

您可以使用Job tracker UI,单击完成页面上的counters链接,可能会得到如下典型视图。内存和cpu计数器突出显示

单击突出显示的链接将显示作业的每个任务(映射/减少)的消耗量

要从命令行查看这些消耗计数器的值,可以使用

hadoop作业-counter org.apache.hadoop.mapreduce.TaskCounter CPU\u毫秒


hadoop作业-counter org.apache.hadoop.mapreduce.TaskCounter物理内存字节数
用于内存使用

所以这是每个作业,而不是我执行的整个jar?是的,您必须手动计算使用您执行的jar运行的所有作业。欢迎。。还有一件事,要计算每个任务级别(映射/减少)的资源消耗,你必须点击突出显示的链接。哦哦哦,兄弟,顺便问一下,我可以再问你一次吗。我想询问有关纱线的内存和vcore配置。影响工作时间绩效的因素是vcore,对吗?不是内存配置?谢谢。很抱歉,我想再次询问,我怎么能在命令提示符下看到它,而不是在web视图上。hadoop会像那样保存日志吗?谢谢