Hadoop的可伸缩性是线性的还是与节点数成比例的?

Hadoop的可伸缩性是线性的还是与节点数成比例的?,hadoop,Hadoop,这句话很常见:“Hadoop线性扩展”。但是,是否有任何绩效评估来证实这一点 在我的评估中,Hadoop处理能力是线性扩展的,但与节点数不成正比,20个节点的处理能力不是10个节点的处理能力的两倍。对此有什么评价吗 谢谢大家! 我想这取决于你在测量什么。在某些情况下,向现有节点添加更多磁盘可能比添加新节点更有帮助。评估存储容量我认为这种行为是意料之中的。如果我添加更多磁盘,我将获得更多空间,但不需要更多复制。但是,我关心的是处理能力。谢谢你,Ilion。这些作业通常是IO限制的,而不是CPU限制

这句话很常见:“Hadoop线性扩展”。但是,是否有任何绩效评估来证实这一点

在我的评估中,Hadoop处理能力是线性扩展的,但与节点数不成正比,20个节点的处理能力不是10个节点的处理能力的两倍。对此有什么评价吗


谢谢大家!

我想这取决于你在测量什么。在某些情况下,向现有节点添加更多磁盘可能比添加新节点更有帮助。评估存储容量我认为这种行为是意料之中的。如果我添加更多磁盘,我将获得更多空间,但不需要更多复制。但是,我关心的是处理能力。谢谢你,Ilion。这些作业通常是IO限制的,而不是CPU限制的。添加更多磁盘和修改data.dir设置允许每个便笺更并发地写入,因此您可以更快、更并发地处理。这不仅仅是空间的问题。