Apache spark 如何查看Spark独立群集的聚合日志

Apache spark 如何查看Spark独立群集的聚合日志,apache-spark,logging,distributed-computing,Apache Spark,Logging,Distributed Computing,当Spark运行在Thread上时,在Spark作业完成后,我可以简单地使用Thread-logs-applicationId appId查看聚合日志。Spark独立群集的等效方法是什么?通过: Spark的独立模式提供了一个基于web的用户界面来监控 集群。master和每个worker都有自己的web UI,显示 集群和作业统计。默认情况下,您可以访问的web UI 主机在8080端口。端口可以在 配置文件或通过命令行选项 此外,每个作业的详细日志输出也会写入 每个从属节点的工作目录(默认情

当Spark运行在Thread上时,在Spark作业完成后,我可以简单地使用Thread-logs-applicationId appId查看聚合日志。Spark独立群集的等效方法是什么?

通过:

Spark的独立模式提供了一个基于web的用户界面来监控 集群。master和每个worker都有自己的web UI,显示 集群和作业统计。默认情况下,您可以访问的web UI 主机在8080端口。端口可以在 配置文件或通过命令行选项

此外,每个作业的详细日志输出也会写入 每个从属节点的工作目录(默认情况下为SPARK_HOME/work)。你 将看到每个作业的两个文件,stdout和stderr,以及所有输出文件 写信给它的控制台


请在中查找更多信息。

我可以看到主用户界面,但当我单击工作链接时,我无法连接到它。在Spark中启用该功能需要任何设置吗?@pythonic是否检查了是否可以连接到该工作IP?也许你需要一个隧道到工人看到的UI通过链接。。。