Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 使用石墨监控Spark 2.X_Hadoop_Apache Spark_Monitoring_Graphite - Fatal编程技术网

Hadoop 使用石墨监控Spark 2.X

Hadoop 使用石墨监控Spark 2.X,hadoop,apache-spark,monitoring,graphite,Hadoop,Apache Spark,Monitoring,Graphite,我想用graphite监控我的工作执行情况。我想这样做是为了获得HDFS I/O速率和执行中的任务数。我遵循了本教程:但如果我使用他们的选项提交作业: --files=/path/to/metrics.properties \ --conf spark.metrics.conf=metrics.properties 我发现一个错误,它找不到文件: 16/10/05 13:21:22 ERROR metrics.MetricsConfig: Error loading configuration

我想用graphite监控我的工作执行情况。我想这样做是为了获得HDFS I/O速率和执行中的任务数。我遵循了本教程:但如果我使用他们的选项提交作业:

--files=/path/to/metrics.properties \
--conf spark.metrics.conf=metrics.properties
我发现一个错误,它找不到文件:

16/10/05 13:21:22 ERROR metrics.MetricsConfig: Error loading configuration file metrics.properties
java.io.FileNotFoundException: metrics.properties (No such file or directory)
此外,我还尝试输入一个所有节点都可以访问的绝对路径(在一个挂载目录中),这可以消除错误,但它们在graphite中缺少信息(如executor.threadpool)

有人使用石墨火花,能帮我吗?或者也许有比石墨更好的工具