Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 将Kafka安装程序从单节点群集迁移到多节点群集_Apache Kafka_Apache Zookeeper - Fatal编程技术网

Apache kafka 将Kafka安装程序从单节点群集迁移到多节点群集

Apache kafka 将Kafka安装程序从单节点群集迁移到多节点群集,apache-kafka,apache-zookeeper,Apache Kafka,Apache Zookeeper,目前,我们对卡夫卡没有太多的关注。但我们预计未来会有一些不错的负担。因此,出于降低成本的原因,我们计划暂时只使用一个节点(一个Zookeeper和一个Kafka代理)的Kafka堆栈,稍后根据负载,我们希望使其成为一个适当的集群(至少有3个节点) 这样开始可以吗(从一个节点开始,然后添加更多节点) 我在某个地方读到,这是无法无缝完成的。有人能解释一下如果没有,会出现什么问题吗?您需要停机来停止Zookeeper+Kafka,编辑配置以包含更多服务器,然后重新启动它们。从这些方面来说,这并非天衣无

目前,我们对卡夫卡没有太多的关注。但我们预计未来会有一些不错的负担。因此,出于降低成本的原因,我们计划暂时只使用一个节点(一个Zookeeper和一个Kafka代理)的Kafka堆栈,稍后根据负载,我们希望使其成为一个适当的集群(至少有3个节点)

这样开始可以吗(从一个节点开始,然后添加更多节点)


我在某个地方读到,这是无法无缝完成的。有人能解释一下如果没有,会出现什么问题吗?

您需要停机来停止Zookeeper+Kafka,编辑配置以包含更多服务器,然后重新启动它们。从这些方面来说,这并非天衣无缝,因为应用程序读/写将出现服务中断。但一旦一切都重新开始,这些应该是好的

在本地环境之外,即使你只有一个经纪人,也绝对建议至少从3个动物园管理员开始。一个Zookeeper服务器的故障对卡夫卡来说真的很糟糕。。。此外,还建议至少有3个代理用于复制和容错,不管您的负载有多大。至少有一份数据拷贝总比没有好


你不需要用卡夫卡平均缩放Zookeeper;e、 g.3 ZK+1代理,然后添加更多代理,对于大型集群,不要超过5-7个动物园管理员

如果我们使用3ZK和1个代理,然后再引入一个代理,那么已经存在的代理上的数据会发生什么变化。是否会平均分配?添加新代理后,我们可以更改复制因子吗?所有现有数据都将保留在第一个代理上。重新平衡和添加副本的操作都必须手动执行。或者您可以找到外部工具,使其更加自动化/可编写脚本