我的2节点hadoop性能优于我的4节点hadoop

我正在配置单元上运行一些作业：首先是4节点，然后是2节点。令我惊讶的是，我的2节点性能比我的4节点好

首先，我在4节点（4个活动节点）上运行查询，然后关闭2个节点（2个活动节点）并运行相同的操作

有什么想法吗？

---

谢谢，

根据澄清意见，听起来您在一台机器上运行多个虚拟机。Hadoop不是设计成这样运行的。对于基本功能测试之外的任何事情，您都应该使用真正的硬件建立一个真正的集群，或者使用类似EC2的东西

---

通过减少节点数量来提高性能的原因是，竞争相同资源的“计算机”更少。

您能否分享有关您的环境设置和正在运行的工作负载的更多详细信息？使用默认配置的4节点虚拟群集。我可以运行mapreduce作业。我的管理页面50070表明我有4个活动节点。工作负载约为200MB的文本。当你说虚拟集群时，它是否在同一台机器上运行？虚拟机的功能有多强大？物理机是否能够支持所有虚拟机？我基本上使用默认配置。是的，我有一台具有8个内核的机器，但我只为每个虚拟机分配了1个cpu，因此没有资源竞争。您必须记住，使用其他内核也有一个so，可能还有一些后台程序。除此之外，更多的内核意味着更多的磁盘写入/内存分配竞争。。。可能不会出现CPU争用，但如果只有一个磁盘，则会出现i/o争用。无论如何，Hadoop并不意味着要在一台机器上的VM上运行。。。可以设置它。VMWare有关于如何做到这一点的白皮书，这并不容易。您应该使用多台服务器进行裸机设置，或者使用EMR，或者在AWS上运行自己的Hadoop发行版。