有没有一种方法可以使用Prometheus监控Hadoop指标?

有没有一种方法可以使用Prometheus监控Hadoop指标?,hadoop,prometheus,jmx,Hadoop,Prometheus,Jmx,因此,我目前正在运行用于数据处理的双集群,一个是Kubernetes集群,另一个是Hadoop集群 K8s集群在监控方面得到了关注,因为在其上部署Prometheus和Grafana非常容易 但是,对于Hadoop集群,我仍然在寻找一种很好的方法 我们的目标是要有一个统一的监控解决方案,所以我认为使用普罗米修斯是一个好主意,因为我已经对它很熟悉了,但看起来它不是直接的 默认情况下,Hadoop通过HTTP API公开一些指标,但这些指标并不“普罗米修斯友好” 如果你能解释一下我是如何做到这一点的

因此,我目前正在运行用于数据处理的双集群,一个是Kubernetes集群,另一个是Hadoop集群

K8s集群在监控方面得到了关注,因为在其上部署Prometheus和Grafana非常容易

但是,对于Hadoop集群,我仍然在寻找一种很好的方法

我们的目标是要有一个统一的监控解决方案,所以我认为使用普罗米修斯是一个好主意,因为我已经对它很熟悉了,但看起来它不是直接的

默认情况下,Hadoop通过HTTP API公开一些指标,但这些指标并不“普罗米修斯友好”


如果你能解释一下我是如何做到这一点的,我将不胜感激

我建议你看看这个,

在大多数情况下,当应用程序不公开普罗米修斯指标时,您可以使用导出器,其中有很多


他们收集度量并以普罗米修斯友好的方式公开它们。

这仅适用于FSImage,而不是JMX将其添加到Hadoop进程中有哪些问题?