Apache spark 当我在服务器上运行实例时,是否可以在本地浏览器中获得spark的web UI?

Apache spark 当我在服务器上运行实例时,是否可以在本地浏览器中获得spark的web UI?,apache-spark,pyspark,Apache Spark,Pyspark,所以我在一个地方工作,我有一台笔记本电脑,每天我都用shell连接到远程服务器,在服务器上做任何事情(运行jupyter笔记本,使用pyspark进行spark作业) 我想在运行spark作业(内存、cpu使用情况等)时记录我正在使用的所有服务器资源。 我想我可以这样做的一个方法是查看web UI,但我无法连接到web UI 我使用sc._conf.getAll()获得了我的驱动程序ip、端口和所有内容的所有属性 我正在运行纱线客户的spark (u'spark.master',u'Thread

所以我在一个地方工作,我有一台笔记本电脑,每天我都用shell连接到远程服务器,在服务器上做任何事情(运行jupyter笔记本,使用pyspark进行spark作业)

我想在运行spark作业(内存、cpu使用情况等)时记录我正在使用的所有服务器资源。 我想我可以这样做的一个方法是查看web UI,但我无法连接到web UI

我使用sc._conf.getAll()获得了我的驱动程序ip、端口和所有内容的所有属性 我正在运行纱线客户的spark (u'spark.master',u'Thread-client'),
并在web浏览器上尝试了这些,但无法连接。

听起来可能是防火墙问题,无论是在公司端还是远程服务器端。可能值得与管理IT基础架构的人员一起检查。错误是什么?HTTP响应代码?这是GSS例外吗?如果您能提供一些错误详细信息,那就太好了。听起来可能是防火墙问题,无论是在您的公司端还是远程服务器端。可能值得与管理IT基础架构的人员一起检查。错误是什么?HTTP响应代码?这是GSS例外吗?如果您能提供一些错误详细信息,那就太好了。