确定hadoop集群中的从属节点是否已分配任务

确定hadoop集群中的从属节点是否已分配任务,hadoop,mapreduce,Hadoop,Mapreduce,我是Hadoop和MapReduce的新手。我刚刚部署了一个Hadoop集群,它有一台主机和32台从机。然而,当我开始运行一个示例程序时,它似乎运行得很慢。如何确定映射/减少任务是否确实已分配给从属节点执行 示例程序的执行方式如下: hadoop jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar pi 32 100 好吧,有很多可能性。Hadoop在分布式任务中起到了帮助作用 因此,如果您

我是Hadoop和MapReduce的新手。我刚刚部署了一个Hadoop集群,它有一台主机和32台从机。然而,当我开始运行一个示例程序时,它似乎运行得很慢。如何确定映射/减少任务是否确实已分配给从属节点执行

示例程序的执行方式如下:

hadoop jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar pi 32 100

好吧,有很多可能性。Hadoop在分布式任务中起到了帮助作用

  • 因此,如果您的代码是以所有内容都是依赖的方式编写的,那么就没有32个从属对象的使用。相反,管理连接将需要开销时间
  • 检查hadoopMasterIp:50070是否所有数据节点(从节点)都在运行。显然,如果您没有更改core-site.xml中的dfs.http.address
    查看纱线Web UI的最简单方法。默认情况下,它在主节点上使用端口8088(根据您自己的IP地址更改URI中的
    master
    ):

    在这里,您可以看到集群的总资源和所有应用程序的列表。对于每个应用程序,您都可以了解使用了多少映射器/还原器,以及它们在何处(在哪台机器上)执行

    http://master:8088/cluster