Apache kafka 如何在单一群体中增加卡夫卡消费者随需应变

Apache kafka 如何在单一群体中增加卡夫卡消费者随需应变,apache-kafka,kafka-consumer-api,Apache Kafka,Kafka Consumer Api,假设我们在卡夫卡的第5分区中有一个主题“topic-1”。 消费者组A,每个分区的“主题1”上有5个消费者。由于工作量大,需要发布大量消息。现在,我们希望扩大消费者/在A组中添加更多消费者以处理消息 我们如何在同一群体中增加消费者的随需应变需求? 有没有办法从编码开始呢?因此,每个消费者都会使用一条消息。 一旦减少负载,就会关闭同一组中的几个使用者。Kafka框架建议使用者的数量和分区的数量相对应。增加使用者的数量不会有帮助,因为每个分区都会有一个使用者,其余的将保持空闲。如果需要加速,可以从K

假设我们在卡夫卡的第5分区中有一个主题“topic-1”。 消费者组A,每个分区的“主题1”上有5个消费者。由于工作量大,需要发布大量消息。现在,我们希望扩大消费者/在A组中添加更多消费者以处理消息

我们如何在同一群体中增加消费者的随需应变需求? 有没有办法从编码开始呢?因此,每个消费者都会使用一条消息。
一旦减少负载,就会关闭同一组中的几个使用者。

Kafka框架建议使用者的数量和分区的数量相对应。增加使用者的数量不会有帮助,因为每个分区都会有一个使用者,其余的将保持空闲。如果需要加速,可以从Kafka读取数据并在另一个线程中处理。您可以根据处理线程的数量进行扩展,您需要自己编程。

  • 我建议使用一些分区作为 负荷增加
  • 例如,如果有5个分区足以正常加载,我会 建议该主题有15个分区,但只有5个使用者 从一开始就为他们准备
  • 然后,当负载增加时,继续添加耗电元件,最好是在其他机器中,直到负载减少
  • 你可以让kubernetes帮你做自动校准

在本书中,您直接建议我们不能增加消费者的需求。任何人都可以建议,如何监控卡夫卡消费者是否正常工作。任何开源工具都可以做到这一点。