Amazon ec2 在AmazonEC2上运行hadoop作业：多节点集群

我必须在AmazonEC2集群上运行hadoop mapreduce作业

我尝试使用现有的AMI设置。但在启动主机和客户端之后，“jps”不会列出任何节点

因此，即使在使用了公共hadoop AMI之后，我们还需要为主设备和从设备进行hadoop设置吗？主机如何知道从机的IP地址

谁能告诉我一些好的文件吗。 我在这上面撞了12个多小时了

有人能帮忙吗

---

谢谢。

我会改用亚马逊的弹性MapReduce框架。您可以动态地向上和向下旋转机器和集群，而不必担心如何配置它们来相互通信

---

它被很多人使用，而且大部分是可靠的。它将为您节省大量通常用于设置和管理群集的工作。与常规hadoop不同的是，最好将东西放在S3而不是HDFS中（因为集群是瞬态的，所以HDFS数据随集群一起消失）。

Matthew建议的另一种替代方法是使用Whirr

Whirr使在Amazon上部署Hadoop集群变得非常容易，而且您不必为mapreduce Instances付费。您可以控制集群的版本

以下是项目主页：

下面是安装Hadoop的快速入门指南。运行Hadoop集群大约需要5分钟。

---

回答得很好。应该注意的是，弹性MR比在ec2集群上设置要稍微贵一些，如果集群足够大，这可能会增加成本。只有在不使用spot实例的情况下才是如此。专业提示：让你的1/2的节点现货定价任务节点，你会节省很多钱。啊，我从来都不知道..谢谢Matthew。你救了我一些钱！没问题：-）。这是一个非常新的功能。很好的链接。在过去的12个月中，Whirr已成为一种可行的替代方案。