Apache spark 火花流作业冻结

我有一个Spark流作业，它从RabbitMQ接收消息并对其执行一些状态映射

在我的spark流媒体工作（大约2000条消息/500批）的某个时候，处理过程就冻结了。 它将继续接收消息并创建批处理，但这些将保持挂起状态

执行器内存设置为2G，驱动程序内存设置为1G

我在日志中看不到任何内容，executors页面也没有显示任何内容（之前和之后）

---

为什么会发生这种事？

看起来像是某种杀人行为。在JVM上设置了一些内存限制后，它似乎可以工作。

看起来当前任务还没有完成。你需要跟踪执行情况才能找到答案。是的，当它发生时，实际上有两个作业正在运行。我猜其中一个是流式的，另一个可能是冷冻的。我需要等待一段时间来复制它并检查它。