Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 无法在纱线模式下访问Spark web ui_Apache Spark_Yarn - Fatal编程技术网

Apache spark 无法在纱线模式下访问Spark web ui

Apache spark 无法在纱线模式下访问Spark web ui,apache-spark,yarn,Apache Spark,Yarn,我正在远程群集设置(4个节点)上运行Spark应用程序 当我使用以下命令在远程计算机上以本地模式运行应用程序时 spark-submit --class "Main" --master local[*] target/scala-2.10/myapponspark_2.10-1.0.jar 我在日志中收到以下消息 INFO ui.SparkUI: Started SparkUI at http://ab2.xxx.in.yyy.com:4041 并且我可以在访问Spark web UI 但是

我正在远程群集设置(4个节点)上运行Spark应用程序

当我使用以下命令在远程计算机上以本地模式运行应用程序时

spark-submit --class "Main" --master local[*] target/scala-2.10/myapponspark_2.10-1.0.jar
我在日志中收到以下消息

INFO ui.SparkUI: Started SparkUI at http://ab2.xxx.in.yyy.com:4041
并且我可以在访问Spark web UI

但是,当我在纱线客户机(或纱线集群)模式下运行时,通过发出以下命令

spark-submit --class "Main" --master yarn-client target/scala-2.10/myapponspark_2.10-1.0.jar
$ssh -X uname@ip_address

出现相同的日志消息,说明Spark web ui在与上述相同的地址启动。但我无法从浏览器访问该网页。原因可能是什么?

尝试从提交Spark作业的机器访问浏览器。或者使用以下命令进行ssh

spark-submit --class "Main" --master yarn-client target/scala-2.10/myapponspark_2.10-1.0.jar
$ssh -X uname@ip_address
然后从远程使用打开firefox

$firefox &

可能您可以查看Spark UI。

您的作业是否在纱线模式下完成且没有任何错误?@Sumit It Does complete您是从机器还是从提交作业的机器访问浏览器?