Apache kafka 卡夫卡丢失了信息

Apache kafka 卡夫卡丢失了信息,apache-kafka,Apache Kafka,下面是我的场景: 将kafka配置为保留时间=6h 创建主题 发送16个主题的消息 在主题0-7上运行消费者 =>接收到消息 等大约一个小时 就主题8-15启动第二个消费者 =>几分钟后没有消息被消耗,轮询在一分钟超时后返回0条消息 发送关于16个主题的消息 =>两个消费者都接收消息 我们多次注意到,当我们在没有消费者的情况下发送主题消息,然后启动消费者时,会出现这种行为。消费者连接丢失之前在代理中发送的消息。我认为您没有指定消费者配置参数auto.offset.reset。默认值为最新(或最大

下面是我的场景:

将kafka配置为保留时间=6h 创建主题 发送16个主题的消息 在主题0-7上运行消费者 =>接收到消息 等大约一个小时 就主题8-15启动第二个消费者 =>几分钟后没有消息被消耗,轮询在一分钟超时后返回0条消息 发送关于16个主题的消息 =>两个消费者都接收消息


我们多次注意到,当我们在没有消费者的情况下发送主题消息,然后启动消费者时,会出现这种行为。消费者连接丢失之前在代理中发送的消息。

我认为您没有指定消费者配置参数
auto.offset.reset
。默认值为
最新
(或
最大
对于v0.9之前的版本),但您似乎希望将其设置为
最早
(或
最小
对于v0.9之前的版本)

将is添加到您的
KafkaConsumer
配置属性中