Apache storm 是否存在apache storm群集大小限制?

Apache storm 是否存在apache storm群集大小限制?,apache-storm,Apache Storm,我假设在一个storm集群中有更多的节点会增加集群内的“保持拓扑活跃”通信 考虑到拓扑结构在10个节点(2或4个CPU,4GB RAM)的情况下可以很好地用于小数据,我们可以将拓扑结构扩展到1000或10000个节点,并且在(非常)大数据方面仍然具有竞争力吗?是否有已知的实际限制 多亏了Zookeeper中的状态存储速度限制了风暴群的扩展,其中大部分是工作人员的“心跳”。理论限制大约为1200个节点(取决于磁盘速度,此处考虑的写入速度为80MB/s)。显然,使用更快的硬盘将使事情更具规模 然而,

我假设在一个storm集群中有更多的节点会增加集群内的“保持拓扑活跃”通信

考虑到拓扑结构在10个节点(2或4个CPU,4GB RAM)的情况下可以很好地用于小数据,我们可以将拓扑结构扩展到1000或10000个节点,并且在(非常)大数据方面仍然具有竞争力吗?是否有已知的实际限制


多亏了

Zookeeper中的状态存储速度限制了风暴群的扩展,其中大部分是工作人员的“心跳”。理论限制大约为1200个节点(取决于磁盘速度,此处考虑的写入速度为80MB/s)。显然,使用更快的硬盘将使事情更具规模

然而,雅虎的员工正在为员工的心跳进行内存存储。他们的解决方案将使用千兆比特连接将限制提高到大约6250个节点。10Gigabit连接会将此理论限制增加到62500个节点。你可以从Bobby Evans那里了解更多细节,看看2015年Hadoop峰会