Apache kafka 我们需要多少zookeper服务器才能支持18台kafka机器

Apache kafka 我们需要多少zookeper服务器才能支持18台kafka机器,apache-kafka,apache-zookeeper,Apache Kafka,Apache Zookeeper,6台卡夫卡机器它们是物理机器-戴尔硬件 3 zookeeper服务器 我们想向集群中添加12台kafka机器 在这种情况下,zookeeper服务器应该是多少 为了支持18台卡夫卡机器?好吧,您的问题用Hadoop标记,但仅卡夫卡一台,3台就可以了,但5-7台更好 但是,这些应该是Kafka的专用Zookeeper服务器,而不是与Hadoop服务共享,如namenode、Hive、HBase等,特别是在30多台Hadoop服务器上。这是因为Zookeeper非常特定于延迟,需要大量内存来处理这些

6台卡夫卡机器它们是物理机器-戴尔硬件

3 zookeeper服务器

我们想向集群中添加12台kafka机器

在这种情况下,zookeeper服务器应该是多少


为了支持18台卡夫卡机器?

好吧,您的问题用Hadoop标记,但仅卡夫卡一台,3台就可以了,但5-7台更好

但是,这些应该是Kafka的专用Zookeeper服务器,而不是与Hadoop服务共享,如namenode、Hive、HBase等,特别是在30多台Hadoop服务器上。这是因为Zookeeper非常特定于延迟,需要大量内存来处理这些类型的进程

这可以通过特定的服务器配置在Ambari中轻松完成,但不允许Ambari使用其模板来填充它跟踪的单个Zookeeper仲裁,这在每个服务中都有点痛苦,不使用Ambari进行配置是值得的,而使用Puppet或Ansible等,但我离题了


请记住,您的集群将有1/3完全不平衡,添加代理不会移动现有数据,也不会导致将副本分配给现有主题的新代理

亲爱的cricket,您说过5个更好,但从google的阅读中,我看到性能将低于3个zookeepers服务器,你能批准这个吗?你说-这是因为Zookeeper非常特定于延迟,而且因为你更喜欢在没有其他hadoop服务的单独硬件上安装Zookeeper,老实说,我们的Zookeeper服务器实际上3是带有hadoop服务的,但也许我们可以通过其他方式解决这个问题,比如增加RAM内存/CPU,在物理硬件上安装zookeeper和其他hadoop服务,而不是在虚拟机上,你认为呢?我发现,专用硬件的性能总是比虚拟机的性能更高。带有Zookeeper的ssd也可以提供帮助,正如他们的文档中提到的,使用ssd的好方法,即使是安装在VM机器上的zookper,顺便说一句,ssd磁盘是Zookeeper的正式建议?我想是的。