Apache spark 如何通过Spark应用程序获得内存和cpu使用率？

我想获得spark作业的平均资源利用率，以便进行监控，如何轮询spark应用程序的资源（即cpu和内存利用率）。

您可以查看stderr日志以查看已完成的spark应用程序。 转到纱线资源管理器。单击应用程序ID，然后单击appattempt_*行右侧的“日志”。 滚动至日志类型：stderr并单击“单击此处查看完整日志”。查看日志中的类似内容：

"yarn.YarnAllocator: Will request 256 executor containers, each with 5 cores and 8576 MB memory including 384 MB overhead"

---

你得把原木从纱线上拔下来

命令行：

纱线应用程序-日志{YourAppID}

您可以从spark作业堆栈或

纱线应用程序-列表

命令或UI获取应用程序ID。有关纱线命令的更多信息，请参见

从UI:如果您正在使用Cloudera，您可以从

http://${LOCALHOST}:7180/cmf/services/17/applications

中看到，您可以使用

http://${LOCALHOST}:8088/cluster进入DAG