Apache kafka 如果将新分区添加到Kafka主题,消费者偏移量会发生什么变化?

Apache kafka 如果将新分区添加到Kafka主题,消费者偏移量会发生什么变化?,apache-kafka,Apache Kafka,当添加新分区时,使用者偏移量会发生什么变化?它保持不变吗?是的,它保持不变 每个分区分别维护一个偏移量,因此新分区的偏移量将从0开始,并且不会影响其他偏移量 假设您讨论的是高级使用者/使用者组,使用者偏移量保持不变,因为偏移量特定于分区。因此,根据配置的开始偏移量,使用者将在开始或结束时或在时间t从新分区开始消费。例如,如果使用者已在分区1中使用了高达100000的偏移量,在分区2中使用了120000的偏移量,则当您添加第三个分区时,使用者将在一段时间后通过轮询发现新分区,并仅重置该新分区的偏移

当添加新分区时,使用者偏移量会发生什么变化?它保持不变吗?

是的,它保持不变

每个分区分别维护一个偏移量,因此新分区的偏移量将从0开始,并且不会影响其他偏移量


假设您讨论的是高级使用者/使用者组,使用者偏移量保持不变,因为偏移量特定于分区。因此,根据配置的开始偏移量,使用者将在开始或结束时或在时间t从新分区开始消费。例如,如果使用者已在分区1中使用了高达100000的偏移量,在分区2中使用了120000的偏移量,则当您添加第三个分区时,使用者将在一段时间后通过轮询发现新分区,并仅重置该新分区的偏移量

更改主题中的分区集时,需要记住的一件重要事情是热点。如果在主题中添加新分区,历史消息仍将分布在旧分区中,因此,假设您使用的是基本的循环/散列分区,那么旧分区中的数据将显著大于新分区中的数据,直到所有分区都变得足够大,以便删除旧分区中的旧段