Apache spark 无法在纱线模式下访问Spark web ui
我正在远程群集设置(4个节点)上运行Spark应用程序 当我使用以下命令在远程计算机上以本地模式运行应用程序时Apache spark 无法在纱线模式下访问Spark web ui,apache-spark,yarn,Apache Spark,Yarn,我正在远程群集设置(4个节点)上运行Spark应用程序 当我使用以下命令在远程计算机上以本地模式运行应用程序时 spark-submit --class "Main" --master local[*] target/scala-2.10/myapponspark_2.10-1.0.jar 我在日志中收到以下消息 INFO ui.SparkUI: Started SparkUI at http://ab2.xxx.in.yyy.com:4041 并且我可以在访问Spark web UI 但是
spark-submit --class "Main" --master local[*] target/scala-2.10/myapponspark_2.10-1.0.jar
我在日志中收到以下消息
INFO ui.SparkUI: Started SparkUI at http://ab2.xxx.in.yyy.com:4041
并且我可以在访问Spark web UI
但是,当我在纱线客户机(或纱线集群)模式下运行时,通过发出以下命令
spark-submit --class "Main" --master yarn-client target/scala-2.10/myapponspark_2.10-1.0.jar
$ssh -X uname@ip_address
出现相同的日志消息,说明Spark web ui在与上述相同的地址启动。但我无法从浏览器访问该网页。原因可能是什么?尝试从提交Spark作业的机器访问浏览器。或者使用以下命令进行ssh
spark-submit --class "Main" --master yarn-client target/scala-2.10/myapponspark_2.10-1.0.jar
$ssh -X uname@ip_address
然后从远程使用打开firefox
$firefox &
可能您可以查看Spark UI。您的作业是否在纱线模式下完成且没有任何错误?@Sumit It Does complete您是从机器还是从提交作业的机器访问浏览器?