Apache kafka 如何使用console consumer从特定点使用卡夫卡主题中的消息?

Apache kafka 如何使用console consumer从特定点使用卡夫卡主题中的消息?,apache-kafka,kafka-consumer-api,Apache Kafka,Kafka Consumer Api,我有一个主题,它有很大的保留空间和存储的数据量。我只想阅读特定时间点的信息 我知道使用java API是可能的,但我想使用kafka控制台消费者,因为我只想快速检查一些东西 我可以从一开始就使用--标记,但为了避免加载需要过滤掉的数据,我不会这样做。我找到的最快方法是创建一个消费者组,将其重置为我感兴趣的时间,然后使用控制台消费者使用新组,以下是命令: # create a new group and reset the topic offset for the group to a speci

我有一个主题,它有很大的保留空间和存储的数据量。我只想阅读特定时间点的信息

我知道使用java API是可能的,但我想使用
kafka控制台消费者
,因为我只想快速检查一些东西


我可以从一开始就使用
--标记,但为了避免加载需要过滤掉的数据,我不会这样做。

我找到的最快方法是创建一个消费者组,将其重置为我感兴趣的时间,然后使用控制台消费者使用新组,以下是命令:

# create a new group and reset the topic offset for the group to a specific date
kafka-consumer-groups --bootstrap-server localhost:9092 \
  --topic $topic \
  --reset-offsets \
  --group $randomname \
  --to-datetime 'YYYY-MM-DDTHH:mm:SS.sss' \
  --execute
然后:

# start consuming by providing the newly created group
kafka-console-consumer --bootstrap-server localhost:9092 \
  --group $randomname \
  --topic $topic

我正在使用kafka cluster 1.1,不确定这些标志是否适用于旧版本。

我找到的最快方法是创建一个使用者组,将其重置为我感兴趣的时间,然后使用控制台使用者使用该新组,以下是命令:

# create a new group and reset the topic offset for the group to a specific date
kafka-consumer-groups --bootstrap-server localhost:9092 \
  --topic $topic \
  --reset-offsets \
  --group $randomname \
  --to-datetime 'YYYY-MM-DDTHH:mm:SS.sss' \
  --execute
然后:

# start consuming by providing the newly created group
kafka-console-consumer --bootstrap-server localhost:9092 \
  --group $randomname \
  --topic $topic

我正在使用kafka cluster 1.1,不确定这些标志是否适用于较旧的版本。

这些标志应至少在0.11之后可用。这些标志应至少在0.11之后可用