Apache spark EMR 5.13:Spark 2.3.0用户界面显示执行者仍然活着

自从我升级到

EMR 5.13

，我就在

Spark

&

warn

ui上看到了奇怪的指标

在这种情况下：

• 纱线

  显示流程已完成

• Ganglia

  显示集群自上次（第118次）作业完成以来一直处于空闲状态

• Spark

  UI还显示我的118项任务都已完成

即使如此，

Spark

UI报告所有

执行者在上一个作业完成后仍处于活动状态（撰写本文时超过1小时）。


这可能是UI故障还是发生了其他问题

框架/平台：


EMR 5.13
Spark 2.3.0
Hive 2.3.2
Hadoop:Amazon 2.8.3
屏幕上有一个执行者的活动任务被标记为已死亡。它显示终止时的统计数据

如您所见，executor#5在终止之前处理了624个任务。然后，纱线开始了一个新的执行器9，它完成了76项任务