在hadoop中,如何分别验证每个从属节点上运行的映射任务的数量?

在hadoop中,如何分别验证每个从属节点上运行的映射任务的数量?,hadoop,mapreduce,cloudera,Hadoop,Mapreduce,Cloudera,我有一个Hadoop集群,头节点作为主节点,其他7个节点配置为从节点,每个节点都有8个内核和8GB内存。我正在修改参数“mapred.tasktracker.map.tasks.max”和从属配置文件中的从属数量。现在,如果我的程序必须运行40个任务,我可以在某个日志文件或某处查看每个从属节点上运行了多少任务吗?基本上,我正在寻找不同节点之间的映射任务分布。您可以安装Ganglia来监视来自jobtracker的统计信息。我在集群上完成了这项工作,安装起来非常简单。它还允许您监视每个节点上的负载

我有一个Hadoop集群,头节点作为主节点,其他7个节点配置为从节点,每个节点都有8个内核和8GB内存。我正在修改参数“mapred.tasktracker.map.tasks.max”和从属配置文件中的从属数量。现在,如果我的程序必须运行40个任务,我可以在某个日志文件或某处查看每个从属节点上运行了多少任务吗?基本上,我正在寻找不同节点之间的映射任务分布。

您可以安装Ganglia来监视来自jobtracker的统计信息。我在集群上完成了这项工作,安装起来非常简单。它还允许您监视每个节点上的负载、交换、磁盘、内存使用情况等

请参见此处的说明:


GOTCHA ALERT:如果您正在安装Ganglia,您可能会获得3.1版,请确保使用
org.apache.hadoop.metrics.Ganglia.Ganglia.GangliaContext31
,而不是该页面上的内容。

最简单的方法是使用hadoop系统附带的web界面

在web浏览器中,键入:作业跟踪计算机主机名:50030例如:本地主机:50030

你会得到你想要的