随着集群大小的增加，弹性MapReduce w/AMI3.1.0和Hadoop 2.4.0上每个节点并发运行的映射器数量急剧下降

在一个相关的问题（）中，我询问了将同时运行的映射器/还原器的数量与纱线和MR2内存参数相关联的公式。事实证明，在Elastic MapReduce上，当我的集群有2到10个c3.2xlarge节点时，上面提到的公式的变体可以正常工作，每个节点有7到9个并发运行的映射器；但当c3.2xlarges的数量为20或40时，我发现集群利用率不足：每个节点只运行1-4个映射器。由于我的工作是CPU受限的，这尤其糟糕：MR2为我提供了MR1性能的一半

---

为什么会发生这种情况？

您将受限于NameNode所能提供的内容。当增加任务节点时，您可以并且应该为NameNode指定一个更大的实例类型。 c3s的MR1页面从未更新