Apache spark spark任务失败并出现错误，显示退出状态：-100

在纱线模式下运行的spark作业显示少数任务失败，原因如下：

ExecutorLostFailure（由于某个正在运行的任务而导致executor 36退出）原因：标记为失败的容器：主机ip xxx yy zzz上的容器xxxxxxxxx_yyyy_01_000054。退出状态：-100。诊断：在*丢失*节点上释放容器

---

知道为什么会发生这种情况吗？

由于应用程序释放或由于节点故障等而“丢失”而被框架杀死的容器有一个特殊的退出代码-100。

---

节点故障可能是因为没有足够的磁盘空间或执行器内存。

由于应用程序释放或由于节点故障等“丢失”而被框架杀死的容器有一个特殊的退出代码-100。

---

节点故障可能是因为没有足够的磁盘空间或执行器内存。

有两个主要原因

这可能是因为纱线容器所需的内存不足，解决方法是增加

spark.executor.memoryOverhead

可能是因为从节点磁盘缺少写入spark所需的tmp数据的空间。检查您的Thread usercache目录（对于EMR，它位于

/mnt/Thread/usercache/

），
或者键入

df-h

检查磁盘剩余空间

---

有两个主要原因

这可能是因为纱线容器所需的内存不足，解决方法是增加

spark.executor.memoryOverhead

可能是因为从节点磁盘缺少写入spark所需的tmp数据的空间。检查您的Thread usercache目录（对于EMR，它位于

/mnt/Thread/usercache/

），
或者键入

df-h

检查磁盘剩余空间

---

我知道您的群集不在AWS上，但作为AWS管理器的MR群集，他们发布了一个常见问题解答

电子病历：

---

对于粘合作业：

我知道您的群集不在AWS上，但作为AWS管理员，MR群集发布了一个常见问题解答

电子病历：

对于粘合作业：