Apache spark 当作业运行相当长的一段时间时，某些应用程序id的Spark UI速度较慢

当我在Spark UI中单击长时间运行的作业（比如24小时）的应用程序id时，加载阶段需要很长时间。我不知道它是否与spark配置或部署模式客户端连接。以下是我的spark配置的更多信息：

--master yarn \
--deploy-mode client \
--driver-memory 12g \
--executor-memory 8g \
--executor-cores 4 \
--num-executors 108 \

---

UI正在驱动程序的计算机上运行。因此，如果机器内存不足，UI会变得非常慢

在这里，我看到您为驱动程序请求12GB的RAM。这是很多，如果这是机器上所有可用的内存，那么UI在某个时候变得非常慢是有道理的。此过程只应驱动计算并在工作人员之间共享

我猜你正在收集大量的数据，这通常不是一个好主意。（见附件）

---

更好的选择是将RDD写入文件或分布式数据库。

您的答案非常完美。我没有想到UI正在驱动程序的机器上运行。非常感谢你的回答。