Amazon ec2 EC2 spark集群中的主URL是什么

我使用spark-ec2脚本启动了一个spark群集。 （编辑：登录主节点后），我可以在主节点上本地运行spark作业，如下所示：

spark-submit --class myApp --master local myApp.jar 

但我似乎无法在群集模式下运行作业：

../spark/bin/spark-submit --class myApp --master spark://54.111.111.111:7077 --deploy-mode cluster  myApp.jar 

主机的ip地址从AWS控制台获取。 我得到以下错误：

WARN RestSubmissionClient: Unable to connect to server 
Warning: Master endpoint spark://54.111.111.111:7077 was not a REST server. Falling back to legacy submission gateway instead.
Error connecting to master (akka.tcp://sparkMaster@54.111.111.111:7077).
Cause was: akka.remote.InvalidAssociation: Invalid address: akka.tcp://sparkMaster@54.177.156.236:7077
No master is available, exiting.

如何提交到EC2 spark群集？

当您使用

--master local

运行时，您也没有连接到master。您正在与应用程序相同的JVM中执行Spark操作。（见附件。）

您的应用程序代码也可能是错误的。因此，首先尝试在主节点上运行

sparkshell

<代码>/root/spark/bin/spark shell配置为在无标志启动时连接到EC2 spark master。如果成功，您可以尝试

sparkshell--masterspark://ec2-xxx-xxx-xxx-xxx.compute-1.amazonaws.com:7077

在您的笔记本电脑上。确保使用主机的外部IP或主机名

如果这也行得通，请尝试在客户端模式下运行应用程序（不使用

--deploy mode cluster

）。希望在尝试所有这些的过程中，你会发现你原来的方法有什么问题。祝你好运

使用

--master local

运行时，您也没有连接到主机。您正在与应用程序相同的JVM中执行Spark操作。（见附件。）

您的应用程序代码也可能是错误的。因此，首先尝试在主节点上运行

sparkshell

<代码>/root/spark/bin/spark shell配置为在无标志启动时连接到EC2 spark master。如果成功，您可以尝试

sparkshell--masterspark://ec2-xxx-xxx-xxx-xxx.compute-1.amazonaws.com:7077

在您的笔记本电脑上。确保使用主机的外部IP或主机名

---

如果这也行得通，请尝试在客户端模式下运行应用程序（不使用

--deploy mode cluster

）。希望在尝试所有这些的过程中，你会发现你原来的方法有什么问题。祝你好运

这与EC2无关，我的服务器上也有类似的错误。我可以通过覆盖spark-env.sh spark_MASTER_IP来解决这个问题

这与EC2无关，我的服务器上也有类似的错误。我可以通过覆盖spark-env.sh spark_MASTER_IP来解决这个问题

在使用ssh登录到master之后，我能够在master上“本地”运行代码。所以，我可以排除代码错误。在使用ssh登录到master之后，我可以在master上“本地”运行代码。所以，我可以排除代码错误。