elasticsearch 将卡夫卡日志可视化到基巴纳

我正试图通过麋鹿堆来想象卡夫卡的日志。我特别需要实时查看消费者未阅读的邮件数量。我看过卡夫卡的日志文件夹，但无法理解

我在哪里可以找到与消费者补偿相关的信息，如何在elasticsearch中上传

是否有关于kafka中日志的文档（例如server.log、controller.log）

---

卡夫卡的日志文件夹不包含消费者延迟

---

您需要从消费者应用程序本身导出这些数据，或者安装外部监控，如Prometheus、Burrow或Remora，然后将其刮取并索引到Elasticsearch中

我们没有消费者，我们正在使用流媒体。在卡夫卡的u consumer_offsets主题中是否有消费者滞后？否。滞后是一个计算值。Kafka Streams是消费者和生产者之上的高级API。是的，你有消费者，因此也有消费者群体。您可以使用

kafka consumer groups

CLI来检查您的组lag。您可以给我linux命令来获取所有主题和分区的消费者lag吗？我相信您可以在其他地方搜索。它不是一个“Linux命令”。正如我所说，如果你研究上述工具，你也可以得到同样的结果