Amazon web services 火花应用完成后使用存储器的AWS EMR过程

我试图找出AWS EMR实例内存不足错误的原因。 我注意到，一旦Spark应用程序/步骤完成，所消耗的内存（由htop显示）将逐渐增加。它最终会稳定下来。 如果我随后重新运行Spark应用程序/步骤，这种行为会自动重复，直到经过几次迭代之后，由于没有足够的堆空间用于应用程序，我最终会出现内存不足异常

我试着用htop监控这一点，并记录了内存峰值，但事实证明很难找到原因。应用程序运行后，似乎还有一个进程在使用内存，但这只是一个猜测。
我认为垃圾收集可能失败了，但即使这样也很难追踪。所以我问自己，是否有人也经历过同样的经历，以及他们是如何解决这个问题的。 我无法在应用程序级别远程评测应用程序。

---

谢谢。

这是在主节点上发生的吗？什么进程正在使用内存？@Christopher这是在主节点上，我正在客户端模式下运行spark应用程序。我不确定维持记忆的过程，我不得不关闭EMR，因为它已经启动了一段时间，需要启动另一个，从那时起，结果一直很奇怪，今天-记忆没有增加。我不知道为什么，没有任何变化，它们是相同的。如果您在支持团队中共享问题和群集id，则可以查看甚至终止的群集，以帮助确定根本原因。@Christopher，谢谢-我会这样做。在链接之后，我看到这是我之前发布的论坛，添加了ids，认为这是在主节点上发生的吗？什么进程正在使用内存？@Christopher这是在主节点上，我正在客户端模式下运行spark应用程序。我不确定维持记忆的过程，我不得不关闭EMR，因为它已经启动了一段时间，需要启动另一个，从那时起，结果一直很奇怪，今天-记忆没有增加。我不知道为什么，没有任何变化，它们是相同的。如果您在支持团队中共享问题和群集id，则可以查看甚至终止的群集，以帮助确定根本原因。@Christopher，谢谢-我会这样做。在点击链接后，我看到这是我之前发布的论坛，不过添加了ID