Apache kafka 如何使用console consumer从特定点使用卡夫卡主题中的消息?
我有一个主题,它有很大的保留空间和存储的数据量。我只想阅读特定时间点的信息 我知道使用java API是可能的,但我想使用Apache kafka 如何使用console consumer从特定点使用卡夫卡主题中的消息?,apache-kafka,kafka-consumer-api,Apache Kafka,Kafka Consumer Api,我有一个主题,它有很大的保留空间和存储的数据量。我只想阅读特定时间点的信息 我知道使用java API是可能的,但我想使用kafka控制台消费者,因为我只想快速检查一些东西 我可以从一开始就使用--标记,但为了避免加载需要过滤掉的数据,我不会这样做。我找到的最快方法是创建一个消费者组,将其重置为我感兴趣的时间,然后使用控制台消费者使用新组,以下是命令: # create a new group and reset the topic offset for the group to a speci
kafka控制台消费者
,因为我只想快速检查一些东西
我可以从一开始就使用
--标记,但为了避免加载需要过滤掉的数据,我不会这样做。我找到的最快方法是创建一个消费者组,将其重置为我感兴趣的时间,然后使用控制台消费者使用新组,以下是命令:
# create a new group and reset the topic offset for the group to a specific date
kafka-consumer-groups --bootstrap-server localhost:9092 \
--topic $topic \
--reset-offsets \
--group $randomname \
--to-datetime 'YYYY-MM-DDTHH:mm:SS.sss' \
--execute
然后:
# start consuming by providing the newly created group
kafka-console-consumer --bootstrap-server localhost:9092 \
--group $randomname \
--topic $topic
我正在使用kafka cluster 1.1,不确定这些标志是否适用于旧版本。我找到的最快方法是创建一个使用者组,将其重置为我感兴趣的时间,然后使用控制台使用者使用该新组,以下是命令:
# create a new group and reset the topic offset for the group to a specific date
kafka-consumer-groups --bootstrap-server localhost:9092 \
--topic $topic \
--reset-offsets \
--group $randomname \
--to-datetime 'YYYY-MM-DDTHH:mm:SS.sss' \
--execute
然后:
# start consuming by providing the newly created group
kafka-console-consumer --bootstrap-server localhost:9092 \
--group $randomname \
--topic $topic
我正在使用kafka cluster 1.1,不确定这些标志是否适用于较旧的版本。这些标志应至少在0.11之后可用。这些标志应至少在0.11之后可用