Apache spark 为什么我的Spark应用程序';s web UI不显示DAG可视化,但历史服务器显示?

Apache spark 为什么我的Spark应用程序';s web UI不显示DAG可视化,但历史服务器显示?,apache-spark,Apache Spark,我目前正在使用IntelliJ IDEA开发和运行我的Spark应用程序。我在conf/spark defaults.conf中设置了这个: spark.eventLog.enabled true spark.eventLog.dir file:/home/user/spark-2.2.0/spark-events spark.history.fs.logDirectory file:/home/user/spark-2.2.0/spark-

我目前正在使用IntelliJ IDEA开发和运行我的Spark应用程序。我在
conf/spark defaults.conf
中设置了这个:

spark.eventLog.enabled           true
spark.eventLog.dir               file:/home/user/spark-2.2.0/spark-events
spark.history.fs.logDirectory    file:/home/user/spark-2.2.0/spark-events
在我的申请中,我还有以下内容:

val session = SparkSession.builder()
    .appName("MySparkApp")
    .master("spark://user:7077")
    .config("spark.jars", "target/mysparkapp.jar")
    .config("spark.eventLog.enabled","true")
    .config("spark.eventLog.dir","file:/home/user/spark-2.2.0/spark-events")
    .config("spark.history.fs.logDirectory","file:/home/user/spark-2.2.0/spark-events")
    .getOrCreate()
应用程序完成后,我可以在Spark History Server中看到DAG可视化。但是,spark web ui中没有显示DAG可视化。知道为什么会这样吗

我正在使用适用于Ubuntu 57.0.1(64位)的Mozilla Firefox。这是我的历史服务器的屏幕截图:

和我的WEB用户界面:


TL;DR在4040使用Spark应用程序的web UI(不是Spark Standalone的web UI)

您使用Spark Standalone(从
.master(“spark://user:7077)和屏幕截图来自Spark Standalone的web UI,您可以在
http://user:8080
(在
master
中使用
user
作为代码中的主机名)

localhost:8080
从未显示任何Spark应用程序的DAG可视化。它一直用于Spark Standalone的web UI。您可以改为使用
localhost:18080
,即在
8080
之前使用
1

默认情况下,Spark应用程序的web UI(您可以在其中找到DAG可视化)在4040(或以下端口,如果已经使用)可用。但是,这取决于集群部署环境和部署模式


同样重要的是,
localhost:4040
仅在Spark应用程序启动并运行时可用。Spark应用程序完成后,web UI就消失了,不再可访问。

你的意思是说。dag将不适用于spark standalone?没错。Spark Standalone的UI用于群集管理器管理的应用程序,而Spark应用程序的web UI可以显示此应用程序的功能,包括DAG。