Hadoop 使用石墨监控Spark 2.X
我想用graphite监控我的工作执行情况。我想这样做是为了获得HDFS I/O速率和执行中的任务数。我遵循了本教程:但如果我使用他们的选项提交作业:Hadoop 使用石墨监控Spark 2.X,hadoop,apache-spark,monitoring,graphite,Hadoop,Apache Spark,Monitoring,Graphite,我想用graphite监控我的工作执行情况。我想这样做是为了获得HDFS I/O速率和执行中的任务数。我遵循了本教程:但如果我使用他们的选项提交作业: --files=/path/to/metrics.properties \ --conf spark.metrics.conf=metrics.properties 我发现一个错误,它找不到文件: 16/10/05 13:21:22 ERROR metrics.MetricsConfig: Error loading configuration
--files=/path/to/metrics.properties \
--conf spark.metrics.conf=metrics.properties
我发现一个错误,它找不到文件:
16/10/05 13:21:22 ERROR metrics.MetricsConfig: Error loading configuration file metrics.properties
java.io.FileNotFoundException: metrics.properties (No such file or directory)
此外,我还尝试输入一个所有节点都可以访问的绝对路径(在一个挂载目录中),这可以消除错误,但它们在graphite中缺少信息(如executor.threadpool)
有人使用石墨火花,能帮我吗?或者也许有比石墨更好的工具