Amazon web services 为什么spark-ec2失败并出现错误：找不到任何现有群集？

我最近下载了Spark，我正试图通过Spark-ec2访问我的第一个集群。我使用了以下命令：

export AWS_ACCESS_KEY_ID=<myid>
export AWS_SECRET_ACCESS_KEY=<mykey>
./spark-ec2 -k my-key-pair -i my-key-pair.pem -s 2 -t m1.small -w 360 launch Spark

它返回：

Searching for existing cluster Spark...
ERROR: Could not find any existing cluster

我找不到有关此错误的任何文档。如果您能提供帮助，我们将不胜感激

启动日志（为了清晰起见，我再次清理了Spark_1 vs Spark）：

---

您的集群肯定正在运行，因为我可以在

http://yourMasterHostname:8080

看起来您正在使用Spark 0.8.0，它受到一个（罕见）错误的影响，

Spark-ec2

可能会错误地看到空的安全组，并且无法找到现有群集。这是在中修复的，但该补丁尚未被后端口到任何Spark 0.8.x版本

---

同时，您可以手动应用spark-ec2，因为它只更改了四行。

我在

spark 0.9.1

和更新的

spark-ec2

脚本中遇到了相同的问题。因此，在成功部署后，我尝试登录：

./spark-ec2 -k my-key-pair -i my-key-pair.pem login MY_SPARK_CLUSTER

这就产生了错误：

Searching for existing cluster Spark...
ERROR: Could not find any existing cluster

问题是我的集群位于区域

eu-west-1

，但默认区域是

us-east-1

。因此，在登录时，您应该添加

--region

键：

./spark-ec2 -k my-key-pair -i my-key-pair.pem login MY_SPARK_CLUSTER --region=YOUR_REGION

---

您的

/spark-ec2

命令使用群集名称

spark

，但错误消息使用群集名称

spark\u 1

。您确定指定了正确的群集名称吗？您使用的是什么版本的Spark？是的，很抱歉弄错了，但作为故障排除的一部分，我更改了名称，但没有用。在发布之前，为了简单起见，我把它改了回去，但复制并粘贴了旧的错误消息。为了清楚起见，我更新了问题。EC2管理控制台是否显示在

Spark master

或

Spark workers

安全组中运行的任何实例？请注意，EC2对不同的区域使用单独的web UI，因此请确保您查看的是启动群集所在的区域。此外，您是否可以发布群集启动时打印的消息日志？添加了日志。EC2向我展示了美国东部地区的两个奴隶和一个主人。我没有导航出Spark-ec2所在的文件夹，也没有更改任何配置文件，因此我认为我没有更改任何会导致我指向其他区域的内容。我们最近讨论了发生这种情况的时间，因此可以更清楚地了解Spark-ec2在查找群集时检查的区域。

Searching for existing cluster Spark...
ERROR: Could not find any existing cluster

./spark-ec2 -k my-key-pair -i my-key-pair.pem login MY_SPARK_CLUSTER --region=YOUR_REGION