Scala spark如何报告/收集指标

定义几个接收器、指标等。但是它们被收集了吗

假设我将

JxmSink

添加到

metric.properties

文件中，并启用所有实例度量（master、applications、worker、executor、driver、shuffleService、applicationMaster）

假设设置了jmx端口

---

在何处收集指标：我应该连接到所有群集节点还是只连接到驱动程序节点？

从单个节点提取Spark指标不需要，如果在指标属性文件中配置了相应的接收器主机，则每配置几秒钟就会将指标推送到该节点。我们的设置配置为使用GraphiteSink收集指标，所需配置如下（以及您提到的其他配置）

使用Graphite服务器端点准备度量配置属性文件

*.sink.graphite.class=org.apache.spark.metrics.sink.GraphiteSink
*.sink.graphite.host=
*.sink.graphite.port=
*.水槽.石墨.周期=10
*.sink.graphite.prefix=dev

确保度量属性文件被传递到spark submit作业脚本中的--files选项中，以便执行器节点将其用于发送度量

---

你想收集你自己的公制单位吗？或者Spark提供的UI可以看到这些数据。那么集群中的每个节点都会将度量推送到某个主机上吗？或者他们首先要掌握度量值？@Cherry是的，执行器度量值直接到达graphite服务器。请查看此博客了解度量系统架构-

    *.sink.graphite.class=org.apache.spark.metrics.sink.GraphiteSink
    *.sink.graphite.host=<graphite-server-host>
    *.sink.graphite.port=<graphite-server-port>
    *.sink.graphite.period=10
    *.sink.graphite.prefix=dev