Apache spark 在本地模式下运行spark应用程序
我正在尝试使用Spark submit以本地模式启动Spark应用程序。我在Windows上使用Spark 2.0.2、Hadoop 2.6和Scala 2.11.8。该应用程序在我的IDE(IntelliJ)中运行良好,我还可以在具有实际物理执行器的集群上启动它 我正在运行的命令是Apache spark 在本地模式下运行spark应用程序,apache-spark,Apache Spark,我正在尝试使用Spark submit以本地模式启动Spark应用程序。我在Windows上使用Spark 2.0.2、Hadoop 2.6和Scala 2.11.8。该应用程序在我的IDE(IntelliJ)中运行良好,我还可以在具有实际物理执行器的集群上启动它 我正在运行的命令是 spark submit--class[MyClassName]--master local[*]target/[MyApp]-jar-with-dependencies.jar[Params] Spark像往常一
spark submit--class[MyClassName]--master local[*]target/[MyApp]-jar-with-dependencies.jar[Params]
Spark像往常一样启动,但随后以
java.io.Exception:无法连接到/192.168.88.1:56370
这里缺少什么?检查您正在使用的端口:如果在群集上:登录到主节点并包括:
--master spark://XXXX:7077
您可以在spark ui的端口8080下找到它
另外,如果您已经设置了master,请检查您的spark builder配置,因为它在启动时具有优先权,例如:
val spark = SparkSession
.builder
.appName("myapp")
.master("local[*]")
在本地计算机上运行本地,但spark://XXXX:7077 从主节点,但我不是在集群上运行,我想在我的机器上以本地模式运行它。当然我不必替换“local[*]”那么?在这种情况下,在代码中放置
val spark=SparkSession.builder.master(“local[*])
,并且不使用--master in submit,但在使用--master in submit选项时,请确保将spark:xxx:7077
作为master:只需从localhost:8080 web ui复制,在main Method中,不要从spark builder中设置master我在spark submit调用中省略了--master参数,并从代码中添加了.master(“local[*]),但我仍然得到相同的异常。您可以用其他方法来做吗?若要查看错误是否仍然存在?:从localhost:8080复制主链接,并在spark submit中粘贴为--master,同时删除它的表单代码,您还可以从ide或zeppelin运行它吗?