Apache spark SparkUI在独立模式下运行时不显示选项卡(作业、阶段、存储、环境等)

Apache spark SparkUI在独立模式下运行时不显示选项卡(作业、阶段、存储、环境等),apache-spark,apache-spark-standalone,spark-ui,Apache Spark,Apache Spark Standalone,Spark Ui,我正在通过以下命令运行spark master: /sbin/start master.sh 之后我去了http://localhost:8080,我看到了下一页 我希望看到工作、环境等标签。。。像下面这样 有人能帮我理解问题出在哪里吗 我需要额外的配置吗 谢谢 Giuseppe要在web浏览器中监视和检查火花作业执行情况,请访问端口4040而不是8080 例如:http://ipAddress:4040 替换URL中的8080 参考: 在上面的链接中,spark文档声明它在端口4040中启

我正在通过以下命令运行spark master:

/sbin/start master.sh

之后我去了
http://localhost:8080
,我看到了下一页

我希望看到工作、环境等标签。。。像下面这样

有人能帮我理解问题出在哪里吗

我需要额外的配置吗

谢谢


Giuseppe

要在web浏览器中监视和检查火花作业执行情况,请访问端口4040而不是8080

例如:
http://ipAddress:4040

替换URL中的8080

参考:

在上面的链接中,spark文档声明它在端口4040中启动web界面

另一个有用的注意事项是,默认情况下,此信息仅在应用程序期间可用。要在事后查看web UI,请在启动应用程序之前将spark.eventLog.enabled设置为true。这将Spark配置为记录Spark事件,这些事件将UI中显示的信息编码到持久化存储


希望有帮助

我想你要找的是SparkUI,你应该先创建一个SparkContext。例如,如果安装了pyspark,您可以运行它,当它正确启动时,您将看到在4040或4041端口生成的sparkUI…

您在
:8080获得的UI是Masters的Web UI。您可以在
:8081
(8081是默认端口;可以是任意端口)为Worker设置一个类似的端口

您正在查找的Web UI对您运行的应用程序有规范,即执行器、dag图、阶段等。因此,如果您单击其中一个运行应用程序的
,您将看到如下页面。单击应用程序界面,您将获得所需页面


Spark文档中的Spark ui似乎有一个标准端口(8080)。没有提到4040,你能给我指一些文件吗?请参考,并在上面的答案中更新。如果您有任何疑问,请告诉我。:)同意。唯一的问题是,对我来说,spark 2.4.3,k8s。工作端口是4040