Apache spark 任何Spark作业的内存利用率

我在Spark中开发了一个算法，我需要报告我的算法在不同输入数据大小的整个执行过程中的内存消耗。具体来说，我需要Spark作业在每个节点或每个执行器的执行期间的峰值内存利用率和峰值IO利用率。我的问题是

Spark UI在存储选项卡中提供RDD大小。添加所有RDD大小是否足以满足内存消耗，或者我必须查看任何其他内容

如果我必须将我的算法与其他算法进行比较，那么如何检查内存消耗。因为那样的话，我就无法访问密码了

如何计算峰值IO使用率。在这种情况下，随机读/写是否有帮助

---

你得到答案了吗？我正在寻找相同的信息。寻找类似的东西，在那里可以监测和微调内存利用率…我也是，我想看看执行内存。存储内存通常可以在SparkUI executors选项卡中作为存储内存看到。我听说Ganglia监控系统可以在上找到。然而，我还没有用过它。希望有帮助。