Ubuntu AWS EC-2的Spark AMI

当使用提供的脚本在Amazon云上启动Spark时，有没有办法指定具有特定操作系统（比如Ubuntu）的AWS AMI

---

默认的AMI是什么，由EC-2脚本启动的操作系统？它有资格参加AWS的“免费层”计划吗

默认情况下，脚本（

spark_ec2.py

）从中获取AMI列表。您可以通过使用自己的首选项创建一个fork并使用

--spark-ec2-git-repo

和

--spark-ec2-git-branch

选择它来覆盖它。您也可以更具体地说明所引用的脚本吗？它们是由亚马逊提供的吗？你开发的？我们可以看看这些脚本吗？@SébastienStormacq我的意思是随Spark Distribution一起提供的标准Apache Spark EC-2脚本。我使用默认AMI设置EC2集群，它使用x86_64 x86_64 x86_64 GNU/Linux作为默认操作系统。虽然不确定免费层的事情，但是有没有适合spark的ubuntu AMI？现有的AmazonLinux有更老的东西。仅举一个例子：php5.4+不可用，您可以选择一个AMI来尝试。我99%确定Spark AMI不包括Spark。我认为它们只是作为一个已知的基本Linux。（我没有尝试覆盖默认的AMI。）如果这不起作用，您可以在任何EC2节点上以独立或纱线模式运行Spark。我试过这两种方法，效果都很好。另一个选择是使用Spark AMI，但升级一些您需要的软件包。不能简单地升级软件包：amazon linux除了有限的软件包外，没有打包支持。我研究了spark ec2脚本：它们不包含在AMI之上构建spark的代码。那将是我的第一选择。相反，似乎AMI的内部确实包含spark。我仍然几乎完全确定AMI不包含spark。AMI列表已经保持了一年多的不变，但是如果你运行全新的Spark 1.2.1

Spark_ec2.py

你会得到一个Spark 1.2.1集群。不知道这是否有帮助，但这里有一个pull请求，说明通过

Spark-ec2

访问ubuntu AMIs仍在建设中：