Amazon ec2 EC2上Hadoop集群中按需从机生成

我计划在EC2上使用Hadoop。因为我们必须为每个实例的使用付费，所以拥有固定数量的实例并不是一件好事

在我们的应用程序中，许多作业是并发执行的，我们并不总是知道从机需求。是否可以用最少的从机启动hadoop集群，然后根据需要管理可用性

i、 e.根据需要创建/销毁奴隶

子问题：hadoop集群能否同时管理多个作业

---

感谢hadoop中使用的默认调度程序是一个简单的FIFO调度程序，您可以研究使用FairScheduler，它为每个正在运行的作业分配集群的一个共享，并具有控制这些共享的广泛配置

就EC2而言，您可以很容易地从一定数量的节点开始，然后一旦看到队列中的任务太多，集群中的所有插槽都被占用，就可以添加更多节点。您只需启动一个实例并在其上启动一个任务跟踪器，该任务跟踪器将向jobtracker注册

---

但是，您必须拥有自己的系统来管理这些节点的启动和关闭。

hadoop中使用的默认调度程序是一个简单的FIFO调度程序，您可以研究使用FairScheduler，它将集群的一部分分配给每个正在运行的作业，并具有控制这些共享的广泛配置

就EC2而言，您可以很容易地从一定数量的节点开始，然后一旦看到队列中的任务太多，集群中的所有插槽都被占用，就可以添加更多节点。您只需启动一个实例并在其上启动一个任务跟踪器，该任务跟踪器将向jobtracker注册

但是，您必须拥有自己的系统来管理这些节点的启动和关闭。

这似乎很有希望

这似乎很有希望

---

只想让您知道，我们正在这方面做一些工作。我们正在跟踪这方面的进展。投票或参与开发。：）

只是想让你知道，我们正在这方面做一些工作。我们正在跟踪这方面的进展。投票或参与开发。：）