Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/fsharp/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Ubuntu 如何从远程计算机访问本地计算机中的“我的浏览器”_Ubuntu_Browser_Apache Spark_Remote Access - Fatal编程技术网

Ubuntu 如何从远程计算机访问本地计算机中的“我的浏览器”

Ubuntu 如何从远程计算机访问本地计算机中的“我的浏览器”,ubuntu,browser,apache-spark,remote-access,Ubuntu,Browser,Apache Spark,Remote Access,因为我在我的远程机器上运行spark应用程序,我希望看到进度,所以我需要从浏览器访问spark web UI 我应该怎么做才能从运行spark应用程序的远程计算机在本地计算机上运行我的浏览器firefox 如果远程设备有IP地址: 192.yy.yy.yy 知道我使用从本地计算机访问远程计算机 ssh name@xx.xx.xx.xx ps:我只能使用命令与远程计算机交互。默认情况下,每个SparkContext都会在端口4040上启动一个web UI,显示有关应用程序的有用信息。这包括:

因为我在我的远程机器上运行spark应用程序,我希望看到进度,所以我需要从浏览器访问spark web UI

我应该怎么做才能从运行spark应用程序的远程计算机在本地计算机上运行我的浏览器firefox

如果远程设备有IP地址:

192.yy.yy.yy
知道我使用从本地计算机访问远程计算机

ssh name@xx.xx.xx.xx

ps:我只能使用命令与远程计算机交互。

默认情况下,每个SparkContext都会在端口4040上启动一个web UI,显示有关应用程序的有用信息。这包括:

  • 计划程序阶段和任务的列表
  • RDD大小和内存使用情况摘要
  • 环境信息
  • 有关正在运行的执行器的信息
只需在web浏览器中打开即可访问此界面。如果多个SparkContext在同一台主机上运行,它们将绑定到从4040(4041、4042等)开始的连续端口

资料来源:


现在中间有了一个管理服务器,您需要创建隧道来访问spark UI,创建隧道使用
ssh-L 4041:192.yy.yy:4041name@xx.xx.xx.xx
然后通过
localhost:4041

访问spark UI,您只需将UI端口从服务器转发到本地

ssh -L 4040:localhost:4040 name@xx.xx.xx.xx
在本地机器中,只需转到地址localhost:4040即可查看进度


ref:

我应该使用哪个ip地址,因为当我使用'ifconfig'时,我得到'192.yy.yy.yy',当我使用'hostname-时,我得到spark运行的远程机器的完整的其他地址'10.xx.xx.xx?@hammad ip,你正在通过ssh连接到远程机器name@xx.xx.xx.xx,那么试试xx.xx.xx.xx:4040它是一个集群,所以我通过ssh访问name@xx.xx.xx.xx对于仅用于管理集群的节点(我无法在其上启动spark),然后我使用“ssh Node1”启动spark并进行处理,Node1具有“ifconfigip=192.yy.yy.yy”和“hostname-i-ip=”10.xx.xx.xxok,在这种情况下,您需要创建隧道,ssh-L 4041:192.yy.yy.yy:4041name@xx.xx.xx.xx然后通过localhost:4041访问spark UI是的,您可以一次创建多个隧道,只需使用一个新的终端窗口,它会给我一个错误:连接失败:打开失败:连接失败:连接被拒绝通道3:打开失败:连接失败:连接被拒绝通道3:打开失败:连接失败:连接被拒绝您的远程设备正在运行哪个端口?这是我在启动spark shell:spark context Web UI,可在10.xx.xx.xx:4041上获得,但在此之前它不起作用,您需要通过
netstat-apn | grep 4041
检查spark UI是否正在运行。之后,更改为4041
ssh-l4040:localhost:4041name@xx.xx.xx.xx
本地主机仍可以访问本地:4040。这是远程计算机。在这里,您正在将端口4040的请求从本地计算机转发到端口4041中的远程计算机,该端口目前正在运行Spark UI。所以您需要确保远程机器中的端口4041正常工作<代码>ssh-L4040:localhost:4041name@xx.xx.xx.xx->输入本地计算机。