Apache kafka 如何修复0.10.2.1卡夫卡中的卡夫卡消费者滞后

面临卡夫卡消费滞后的问题。 现在，我们正在重新启动卡夫卡消费者，以减少滞后。需要帮助修复

---

我们有三个经纪人和六个消费者。重新启动消费者不太可能解决问题。我建议采取以下一系列行动：

• 监控每个消费者在单位时间内（假设为每分钟）减少了多少延迟。你可以通过将滞后的总减少量除以六来推导它

• 如果滞后减少率仍然太低，并且您希望增加滞后减少率，则添加适当数量的消费者。您可以从上一步获得额外消费者数量的估计值

• 确保所有消费者都在同一消费者组中

大多数情况下，代理实例的性能远远高于使用者。如何增加主题的分区，并将使用者增加到分区。使用并发可以提高性能

如果在zookeeper上存储偏移，则可能会出现瓶颈。减少偏移量的提交，并尽可能使用专用的zookeeper。最好的解决方案是在代理上存储补偿

---

当我使用一个分区的主题时，我也遇到了同样的问题。在我的消费者开始消费后不久，滞后现象不断增加。 对我有用的是，我使用以下命令删除了现有的卡夫卡主题：

kafka-topics.sh--zookeer localhost:2181--delete--topic ntift

并使用以下命令创建具有1个以上分区（本例中为3个）的同一主题：

kafka-topics.sh--zookeer localhost:2181--create--topic ntift--partitions 3--replication factor 3

现在，重新启动我的消费者应用程序。重启后，我没有看到延迟（运行以下命令检查延迟）：

kafka-console-groups.sh--引导服务器localhost:9092--组我的消费者应用--描述

组主题分区当前偏移量日志结束偏移量滞后消费者ID主机客户端ID app grp ntift 0 45 0萨拉马-9c2dd/萨拉马 app grp ntift 1 44 44 0萨拉马-9c2dd/萨拉马 app grp ntift 2 43 0萨拉马-9c2dd/萨拉马

---

我还注意到，消费者组（即我的消费者应用程序）已启动并运行，其中有3名消费者。

您应该提供更多有关您情况的详细信息：1）您使用的是什么版本的卡夫卡？2). 你能给我们你的消费者的相关代码吗？6个消费者对应多少个分区？你只能将消费者相加到分区的数量，虽然是的，这是真的。我假设他有6个分区的倍数。我认为增加分区的数量无助于减少现有的延迟。不过，将分区作为消费者的倍数是一种很好的做法。@Bitswazsky是的，没错。向现有主题添加分区没有帮助，因为数据不会重新平衡。我的建议是假设主题可以重新创建。