Apache kafka 确定有数据可供使用的最旧卡夫卡偏移量

Apache kafka 确定有数据可供使用的最旧卡夫卡偏移量,apache-kafka,kafka-consumer-api,Apache Kafka,Kafka Consumer Api,我今天遇到了这个数据问题,为了解决这个问题,我必须重新计算过去3个月的所有数据。但是,在卡夫卡中,当我运行此命令时: ./kafka-console-consumer.sh --bootstrap-server 10.8.95.21:9092 --topic backoffice --from-beginning 它遇到错误:请求的偏移量不在服务器维护的偏移量范围内 --from start试图从卡夫卡清除数据的偏移量中获取数据。 我可以列出偏移量以及创建它的时间吗?因此,我可以从何处开始使用

我今天遇到了这个数据问题,为了解决这个问题,我必须重新计算过去3个月的所有数据。但是,在卡夫卡中,当我运行此命令时:

./kafka-console-consumer.sh --bootstrap-server 10.8.95.21:9092 --topic backoffice --from-beginning
它遇到错误:
请求的偏移量不在服务器维护的偏移量范围内

--from start
试图从卡夫卡清除数据的偏移量中获取数据。
我可以列出偏移量以及创建它的时间吗?因此,我可以从何处开始使用数据进行估算。否则,如果我能识别出有数据的最古老的卡夫卡偏移量,我就可以从该偏移量开始读取。

您是否尝试过kt()。作为卡夫卡控制台工具的替代品,这是一个令人惊叹的工具。这是用围棋写的,速度惊人。另一个优点是,您可以在默认情况下获得每条消息的偏移量

因此,您可以简单地编写如下内容:
kt消费-经纪人-主题最古老

输出结果如下:
{
“分区”:0,
“抵销”:,
“密钥”:“密钥”,
“值”:”
}


编辑:如果你想要一些用户界面,这正是你正在寻找的。设置它非常简单,您可以很容易地获得所有与偏移量相关的信息。你甚至可以看到一条与偏移量相对应的消息,这非常令人惊讶。

以下命令对我有效:


/bin/kafka-run-class.sh kafka.tools.GetOffsetShell--代理列表--主题--时间-2

通过使用
GetOffsetShell
工具,可以列出特定主题的最早偏移量,否则,该命令将返回最早的消息,而不会引发该错误。。。试着多给几个经纪人地址看看kt对我不起作用。而且速度也很慢。