Command line 检查一天内卡夫卡主题消耗了多少事件？

检查一个卡夫卡主题的应用程序在一个时间窗口内消耗了多少事件的最佳方法是什么

目前我正在这样做：

$ ./bin/kafka-console-consumer.sh --zookeeper zookeeper:2181 --topic topic --from-beginning | grep -i '2018-05-29' > kafka.out
$ wc -l kafka.out

一些问题：

它需要在有效负载中有某种时间戳（这是 （在这种情况下可以）

它从第一个偏移开始，因此需要 根据吞吐量，等待一段时间以填充文件 你的话题

有更好的方法吗？最好是命令行，因为它用于特殊分析

我使用的是

Kafka 0.10

，但是对于更新版本的任何答案，我也很乐意知道

---

谢谢

不清楚您是想从经纪人那里还是从您的消费者那里找到这些信息

如果消费者方面没有问题，您可以检查以下指标：

kafka.consumer:type=consumer-fetch-manager-metrics,client-id="{client-id}"

---

它有一个

records consumered total

属性，该属性指示消费者实例已收到多少条记录。

在Kafka中，您有生产者和消费者。计算“已处理”事件的数量没有意义。您可以计算该应用程序内部某个应用程序生成的消息数，也可以计算另一个应用程序使用的消息数。卡夫卡消息可以是任何格式，并且可能根本不包含日期。因此，没有内置的工具来实现您的期望。是的，您是对的。我是怎么写的没有道理，谢谢你的澄清。我编辑了这篇文章，以指定某个应用程序使用的

，我想看看是否可以在kafka元数据或类似内容中使用

时间戳possible@Harold卡夫卡0.10包含每个事件的时间戳。添加属性打印。时间戳=true