确定hadoop集群中的从属节点是否已分配任务
我是Hadoop和MapReduce的新手。我刚刚部署了一个Hadoop集群,它有一台主机和32台从机。然而,当我开始运行一个示例程序时,它似乎运行得很慢。如何确定映射/减少任务是否确实已分配给从属节点执行 示例程序的执行方式如下:确定hadoop集群中的从属节点是否已分配任务,hadoop,mapreduce,Hadoop,Mapreduce,我是Hadoop和MapReduce的新手。我刚刚部署了一个Hadoop集群,它有一台主机和32台从机。然而,当我开始运行一个示例程序时,它似乎运行得很慢。如何确定映射/减少任务是否确实已分配给从属节点执行 示例程序的执行方式如下: hadoop jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar pi 32 100 好吧,有很多可能性。Hadoop在分布式任务中起到了帮助作用 因此,如果您
hadoop jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar pi 32 100
好吧,有很多可能性。Hadoop在分布式任务中起到了帮助作用
查看纱线Web UI的最简单方法。默认情况下,它在主节点上使用端口8088(根据您自己的IP地址更改URI中的
master
):
在这里,您可以看到集群的总资源和所有应用程序的列表。对于每个应用程序,您都可以了解使用了多少映射器/还原器,以及它们在何处(在哪台机器上)执行
http://master:8088/cluster