Hadoop计数器可视化

我想知道是否有Hadoop计数器和作业可视化库/项目。例如，显示每种作业类型以及随时间绘制的开始和结束时间的临时显示。另一个例子是绘制给定计数器随时间的变化。我认为这可以用于操作洞察、监视和警报。

注意：由于这是我第一次发布，因此我不能发布两个以上的URL。请看一看。下面所有斜体项目实际上都是超链接。很抱歉给您带来不便--迈克尔

我现在想到的唯一一个开源可视化项目是。从我在回答中提到的各种工具来看，你可能想先看看安布罗斯。它在其web UI中支持以下功能：

[安布罗斯网络用户界面功能]

• 所有关联作业及其当前状态的表视图
• 使用弦图和图表可视化作业依赖关系和当前状态
• 整体脚本进度条

除此之外，我的个人经历是商业供应商提供的产品。仅列举其中两个：

• CDH4发行版的Cloudera管理器
• 用于M3和M5发行版的MapR仪表板

这两个产品都带有一个API，允许您扩展它们并将它们与您自己的Ops工具集集成。Cloudera Manager需要评估许可证，而MapR的仪表板可以在免费的M3发行版中使用，如果您想让它发挥作用的话。和往常一样，每种方法都有其利弊

也就是说，您还可以配置标准Hadoop，将其指标发送到Ganglia等监控工具（请参阅UC Berkely Grid的实时演示）。基本上，您只需将度量转储到Ganglia中，Ganglia将负责各种度量的可视化/绘图。有几个在线指南介绍了如何为小型Hadoop集群配置Ganglia。如果您运行的是Hadoop2.x，请了解什么是HadoopMetrics2，了解下一代Hadoop中的度量系统通常是如何工作的

最后，尽管与您的直接问题有点无关，但您也可以通过调用Hadoop的JavaAPI来编写自定义监控器。通常直接编写这些自定义监控器的方式与其他Ops基础设施工具（如Nagios）兼容。例如，我们的一个自定义监控器连接到JobTracker，以便检测任何运行时间超过24小时的MapReduce作业（这99%说明某个作业以某种方式中断）。根据您将度量转储到的工具，您将免费获得可视化/图形（参见上面的Ganglia示例）

希望这有帮助， 迈克尔