Hadoop 访问MapReduce配置/统计信息以进行日志记录和分析

我们正在从地图上收集统计数据。我们将在某些方面使用计数器，但我想知道是否有某种方法可以访问Web UI上的统计信息，例如插入的行、读取/写入的字节等，以便我们可以将它们放入数据库中供以后检查

Web UI是如何收集所有这些数据的，我们能否以一种不需要解析已下载的报表html视图的方式使用这些收集的数据？例如作业输出的文件？

以下是访问作业计数器的方法。下面是获取给定jobid的计数器的代码

JobId JobId=新的JobId（“12345”，0）
集群=新集群（新配置（））

Job Job=cluster.getJob（jobId）
Counters Counters=job.getCounters（）

计数器计数器=counters.findCounter（JobCounter.NUM\u失败\u）
long failedTasks=counter.getValue（）

检索到计数器后，将其放入数据库并在UI中显示

除了用户定义的计数器和，还有一些Hadoop定义的计数器。

下面是访问作业计数器的方法。下面是获取给定jobid的计数器的代码

JobId JobId=新的JobId（“12345”，0）
集群=新集群（新配置（））

Job Job=cluster.getJob（jobId）
Counters Counters=job.getCounters（）

计数器计数器=counters.findCounter（JobCounter.NUM\u失败\u）
long failedTasks=counter.getValue（）

检索到计数器后，将其放入数据库并在UI中显示

---

除了用户定义的计数器外，还有一些Hadoop定义的计数器。

因此，需要澄清的是，显示结果的web ui页面上的值和统计数据大部分存储为内置计数器？那么，需要澄清的是，显示结果的web ui页面上的值和统计数据大部分存储为内置计数器？