Apache spark 如何将Spark的JVM度量发送到Kubernetes中的Prometheus

我正在使用Spark操作符在Kubernetes上运行Spark。（）

我试图在Spark driver和executor pods中运行Java代理，并通过Kubernetes服务将度量发送给Prometheus运营商

我正在使用这个例子

Java代理在短时间内公开端口8090上的度量（我可以通过端口转发kubctl port forward8090:8090来验证），并且服务也公开度量数分钟（可以通过端口转发kubctl port forward svc/8090:8090来验证）

普罗米修斯能够在普罗米修斯中注册这些吊舱的URL，但当它试图获取这些指标（每30秒运行一次）时，吊舱的URL会下降

---

如何使Java代理JMX exporter长时间运行，直到驱动程序和执行器完成作业为止。你能在这里指导或帮助我吗，谁以前遇到过这种情况？

我被告知，要么普罗米修斯需要每5秒刮取一次度量值（很可能度量值不准确），要么你需要使用pushgateway，如本博客（）中提到的，将度量值推送到普罗米修斯

将指标推送到普罗米修斯是求职的最佳实践。 对于长时间运行的服务（例如：REST服务），从普罗米修斯（Prometheus）中提取度量是一种最佳方法