Scala 如何使用自定义StatsD Spark metrics接收器配置执行器

如何将Spark流媒体度量引入到执行者的这一点

与其他报告的问题（，）类似，我可以获取驱动程序指标，但执行者在我的设置中抛出

ClassNotFoundException

：

• 类是用我的Spark流媒体应用程序编译的（

  my.jar

  ）

• spark submit

  通过以下方式运行：

  • --files./my.jar

    （将包含接收器的jar拉入执行器）

  • --conf“spark.executor.extraClassPath=my.jar”

• Spark Conf在驱动程序中配置为：

  val conf = new SparkConf()
  
  conf.set("spark.metrics.conf.*.sink.statsd.class",
           "org.apache.spark.metrics.sink.StatsDSink")
      .set("spark.metrics.conf.*.sink.statsd.host", conf.get("host"))
      .set("spark.metrics.conf.*.sink.statsd.port", "8125")
  

---

看来你遇到了问题。我也点击了它，用谷歌搜索了你的问题：（
看起来你点击了错误。我也点击了它，用谷歌搜索了你的问题：（
将您的jar文件复制到$SPARK_HOME/jars文件夹。
将您的jar文件复制到$SPARK_HOME/jars文件夹。
谢谢。在Thread

SPARK submit

作业上成功。但是您能解释一下原因吗？为什么没有足够的参数运行-

--files

或

extraClassPath

？谢谢。在Thread

SPARK submit

作业上成功。But您能解释一下原因吗？为什么没有足够的参数运行-

--文件

或

类外路径

？