Hadoop MR2作业统计信息

我的机器上安装了Hadoop 2.6.0版

hduser@vagrant:/usr/local/hadoop$ hadoop version
Hadoop 2.6.0

另外，我使用bash sbin/start-dfs.sh启动了hadoop集群，并看到Datanode、namenode和secondarynode正在运行

hduser@vagrant:/usr/local/hadoop$ jps
2627 DataNode
2503 NameNode
3634 Jps
2825 SecondaryNameNode

我也能够提交一份工作，并能够看到没有任何问题的输出

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 2 5

问题:- 1.我看不到（节点管理器和资源管理器）没有运行，但作业仍然完成了。MR作业在哪里运行？我在哪里可以看到作业的状态和运行的作业数

以下是我的netstat结果：-

hduser@vagrant：/usr/local/hadoop$netstat-tulpn | grep java （并非所有流程都可以识别，非自有流程信息 将不会显示，您必须是root才能看到所有内容。）

---

您仍然需要配置和启动Thread服务（start-Thread.sh脚本），并配置mapreduce作业以使用它：

etc/hadoop/mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

etc/hadoop/mapred-site.xml
mapreduce.framework.name
纱线

---

目前，您的作业是在“本地”模式下启动的（作业在您使用“hadoop jar”启动的JVM中运行），而不是在“纱线”模式下启动的。它可以用于调试，但由于只涉及一个JVM，因此您不能在“本地”模式下进行并行/分布式计算。

有关这方面的详细信息也在Apache文档中。谢谢……如何使用Thread启动？

etc/hadoop/mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>