Apache spark 在本地模式下运行spark应用程序

Apache spark 在本地模式下运行spark应用程序,apache-spark,Apache Spark,我正在尝试使用Spark submit以本地模式启动Spark应用程序。我在Windows上使用Spark 2.0.2、Hadoop 2.6和Scala 2.11.8。该应用程序在我的IDE(IntelliJ)中运行良好,我还可以在具有实际物理执行器的集群上启动它 我正在运行的命令是 spark submit--class[MyClassName]--master local[*]target/[MyApp]-jar-with-dependencies.jar[Params] Spark像往常一

我正在尝试使用Spark submit以本地模式启动Spark应用程序。我在Windows上使用Spark 2.0.2、Hadoop 2.6和Scala 2.11.8。该应用程序在我的IDE(IntelliJ)中运行良好,我还可以在具有实际物理执行器的集群上启动它

我正在运行的命令是

spark submit--class[MyClassName]--master local[*]target/[MyApp]-jar-with-dependencies.jar[Params]

Spark像往常一样启动,但随后以

java.io.Exception:无法连接到/192.168.88.1:56370


这里缺少什么?

检查您正在使用的端口:如果在群集上:登录到主节点并包括:

--master spark://XXXX:7077
您可以在spark ui的端口8080下找到它

另外,如果您已经设置了master,请检查您的spark builder配置,因为它在启动时具有优先权,例如:

val spark = SparkSession
  .builder
  .appName("myapp")
  .master("local[*]")  

在本地计算机上运行本地,但spark://XXXX:7077 从主节点,但我不是在集群上运行,我想在我的机器上以本地模式运行它。当然我不必替换“local[*]”那么?在这种情况下,在代码中放置
val spark=SparkSession.builder.master(“local[*])
,并且不使用--master in submit,但在使用--master in submit选项时,请确保将
spark:xxx:7077
作为master:只需从localhost:8080 web ui复制,在main Method中,不要从spark builder中设置master我在spark submit调用中省略了--master参数,并从代码中添加了.master(“local[*]),但我仍然得到相同的异常。您可以用其他方法来做吗?若要查看错误是否仍然存在?:从localhost:8080复制主链接,并在spark submit中粘贴为--master,同时删除它的表单代码,您还可以从ide或zeppelin运行它吗?