Apache spark 应用程序的Spark web UI在完成后变为空

我使用Spark 1.5.2在纱线上运行

有时，应用程序的Spark web UI在完成后变为空，为什么？如何解决此问题？

例如，今天我发布了一个pyspark应用程序，并在控制台和Spark Web UI上跟踪了它的进展。因此，我知道它运行正确，正如您在下面的屏幕上看到的：

但经过这一过程后，历史将变为空：

脚本完成后，我在控制台上收到以下警告（我不知道它是否与问题相关）：

16/05/02 17:36:49警告AkkaRpcEndpointRef:发送消息时出错[消息=RemoveExecutor（2，已释放执行器2（容器容器容器）_1460361870585_2312_01_000004））]尝试1次 org.apache.spark.RpcTimeoutException:收件人[参与者][akka://sparkDriver/user/CoarseGrainedScheduler#313705968]]已经被终止。。此超时由spark.rpc.askTimeout控制 [...] 16/05/02 17:36:51警告ReliableDeliverySupervisor:与远程系统的关联[…]已失败，地址现在已为[5000]毫秒选通。原因：[已解除关联] 16/05/02 17:36:51警告ReliableDeliverySupervisor:与远程系统的关联[…]已失败，地址现在已为[5000]毫秒选通。原因：[已解除关联]

---

从第二个屏幕截图来看，这是

Jobs

页面。您需要单击作业id链接以查看作业DAG。

从第二个屏幕截图中，它是作业页面。您需要单击作业id链接才能查看作业DAG。

我不知道为什么会发生这种情况，但是您始终可以保存事件日志，然后使用历史服务器将其可视化（就像在计算过程中一样）。我不知道为什么会发生这种情况，但是您始终可以保存事件日志，然后将其可视化（就像计算时那样）使用历史服务器。我知道，但DAG也是空的，我只取了两个不同的页面。我明白了。您是否调用了

SparkContext。在应用程序结束时停止

？如果没有，它可能无法在应用程序被强制终止时写入事件。我知道，但DAG也是空的，我只取了两个不同的页面。我明白了。您是否调用了

SparkContext.stop

在应用程序结束时停止？如果不是，则可能无法在强制关闭应用程序时写入事件。