Apache spark 如何设置在完成应用程序后在Spark UI上查看

我已经尝试在完成应用程序后设置为在Spark UI上查看

我引用了，但我不知道如何详细设置Spark cluster

我有四台计算机：一台是主集群，其余的是从集群

在本页上输入这些命令

spark.eventLog.enabled true
spark.eventLog.dir hdfs://namenode/shared/spark-logs

是否只需要在主群集上输入这些信息？还是我必须填写所有的聚类

我在spark-defaults.conf中尝试了这两种方法，但在运行spark应用程序时遇到了相同的错误

failed on connection exception:java.net.ConnectException: Connection 
refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused.

---

有什么想法吗？

您可以在应用程序完成后使用web UI，方法是使用EventLoggingListener和Spark History Server持久化事件

使用Spark History Server在浏览器中查看事件日志

为

org.apache.spark.scheduler.eventloggingstener

记录器启用

INFO

日志记录级别，以查看

eventloggingstener

内部发生的情况

将以下行添加到

conf/log4j.properties

：

log4j.logger.org.apache.spark.scheduler.EventLoggingListener=INFO

---

您可以通过执行

start History Server.sh

shell脚本来启动历史服务器，并使用

stop History Server.sh

停止历史服务器。您是否尝试配置历史服务器？您是说在启动

/sbin/start History Server.sh

这样的服务器？当我启动

start History Server.sh

时。我在org.apache.spark.deploy.history.FsHistoryProvider（FsHistoryProvider.scala:75）上启动org.apache.spark.deploy.history.HistoryServer时遇到错误

。。。6更多