Apache spark Spark 2.1.0 Web用户界面不显示;“应用程序详细信息用户界面”;

Apache spark Spark 2.1.0 Web用户界面不显示;“应用程序详细信息用户界面”;,apache-spark,Apache Spark,我最近通过Spark 1.4.1安装程序升级到最新的2.1.0。我在独立模式下运行Spark。除了web UI之外,一切似乎都很好。 此处显示,对于大型应用程序日志,可能会发生这种情况。但我很确定我的应用程序日志不是很大(约8.5MB)。 我复制了我在1.4.1中使用的相同设置,参数如下: spark.eventLog.enabled true spark.eventLog.dir /LOCALPATH/spark/event-log sp

我最近通过Spark 1.4.1安装程序升级到最新的2.1.0。我在独立模式下运行Spark。除了web UI之外,一切似乎都很好。 此处显示,对于大型应用程序日志,可能会发生这种情况。但我很确定我的应用程序日志不是很大(约8.5MB)。 我复制了我在1.4.1中使用的相同设置,参数如下:

spark.eventLog.enabled             true
spark.eventLog.dir                 /LOCALPATH/spark/event-log
spark.history.fs.logDirectory      /LOCALPATH/spark/event-log
web UI显示当前和以前的应用程序。但是,“应用程序详细信息UI”链接仅适用于正在运行/活动的应用程序,不会显示已完成的应用程序。我已经检查了eventLog目录,它确实有已完成应用程序的非空日志文件

附件是供参考的图像以及。我是否缺少2.1.0版中引入的一些新属性?我已经查看了很多次文档,但都找不到

编辑:使其正常工作(供将来参考)

我按照上面介绍的步骤,通过spark history server使其正常工作。特别是,我添加了一个log4j属性

log4j.logger.org.apache.spark.deploy.history=INFO    

并启动历史服务器,通过访问历史服务器界面

<history-server-host>:18080
:18080

其中历史服务器主机通常与您的主节点相同。

您似乎在问与帖子链接中提到的相同的问题,但您是否阅读了答案?帖子指出,这是由于“大型应用程序创建了大量事件日志”。我在问题中提到“应用程序日志不大(~8.5MB)”。其中一条评论中的链接帖子提到了我已经启用的“启用事件日志记录”。所以,是的,我读了答案。谢谢你关于历史服务器的提示,它工作了!我们从Spark 1.6切换到了2.2.0,在独立的Spark集群上运行的配置停止工作之前,“应用程序详细信息UI”消失了。
<history-server-host>:18080