Performance 火花性能监测

我需要向管理层/客户机表明，运行spark作业的执行器内存、内核数、默认并行性、随机分区数和其他配置属性不会过多或超过要求。我需要一个监测（与可视化）工具，我可以证明在火花作业内存使用。此外，它还应该提供诸如内存使用不当或某些工作需要更多内存之类的信息

---

请推荐一些应用程序或工具。

LinkedIn创建了一个听起来与您所寻找的非常相似的工具

有关该产品概述的演示文稿，请参见

LinkedIn团队在这里公开了大象博士-

试试看。

---

请注意，此设置可能需要手动调整Spark History Server，作为初始集成设置的一部分，以获取Dr.Elephant所需的信息

这与堆栈溢出无关。我建议您看看超级用户或服务器故障社区，了解这些方面的内容。