Apache spark ApacheSparkUI中的自定义指标_Apache Spark_Codahale Metrics

Apache spark ApacheSparkUI中的自定义指标

apache-spark

Apache spark ApacheSparkUI中的自定义指标,apache-spark,codahale-metrics,Apache Spark,Codahale Metrics,我正在使用ApacheSpark，metrics UI（在4040上找到）非常有用我想知道是否可以在这个UI中添加自定义指标，自定义任务指标，但也可以添加自定义RDD指标。（就像RDD转换的执行时间）将自定义指标按流批处理作业和任务分组可能会更好我见过这个对象，但它被标记为一个devapi，它看起来只对输入或输出源有用，不支持自定义值有没有办法做到这一点？或者另一种选择？您可以使用内置Spark的共享变量支持[1]。我经常用它们来实现类似的东西 [1]

我正在使用ApacheSpark，metrics UI（在4040上找到）非常有用

我想知道是否可以在这个UI中添加自定义指标，自定义任务指标，但也可以添加自定义RDD指标。（就像RDD转换的执行时间）

将自定义指标按流批处理作业和任务分组可能会更好

我见过这个对象，但它被标记为一个devapi，它看起来只对输入或输出源有用，不支持自定义值

有没有办法做到这一点？或者另一种选择？

您可以使用内置Spark的共享变量支持[1]。我经常用它们来实现类似的东西

[1]