Apache kafka 现有主题';将新代理添加到Kafka群集时,是否会删除分区?

Apache kafka 现有主题';将新代理添加到Kafka群集时,是否会删除分区?,apache-kafka,Apache Kafka,假设您有一个单节点Kakfa集群,并且您创建了一个包含2个分区的主题,因为您希望能够并行使用 然后一个新的代理加入集群 这是否也会触发现有主题分区的重新分配,我的意思是,我们主题的第二个分区中的所有数据是否都会移动到第二个代理中 或者新的代理将只参与未来主题的分区分发吗?当代理添加到集群时,Kafka不会自动重新分发现有分区 这有几个原因: 移动分区会导致大量代理间通信和集群上的额外负载 很难确定要移动哪些分区。在您的例子中,这很简单,但请想象一个包含1000个分区和许多代理的集群 卡夫卡文

假设您有一个单节点Kakfa集群,并且您创建了一个包含2个分区的主题,因为您希望能够并行使用

然后一个新的代理加入集群

这是否也会触发现有主题分区的重新分配,我的意思是,我们主题的第二个分区中的所有数据是否都会移动到第二个代理中


或者新的代理将只参与未来主题的分区分发吗?

当代理添加到集群时,Kafka不会自动重新分发现有分区

这有几个原因:

  • 移动分区会导致大量代理间通信和集群上的额外负载

  • 很难确定要移动哪些分区。在您的例子中,这很简单,但请想象一个包含1000个分区和许多代理的集群

卡夫卡文献中有一节是关于

有几种工具可以执行这种操作:

  • kafka重新分配分区。sh
    是默认的kafka工具,可用于以受控方式跨新代理重新平衡分区


谢谢您的回答