Java 如何在spring kafka中为手动提交确认当前偏移量

我第一次使用Spring Kafka，但我无法在我的用户代码中使用acknowledge.acknowledge（）方法进行手动提交。如果我的使用者配置或侦听器代码中缺少任何内容，请告诉我。或者，是否有其他方法根据条件处理确认偏移。 在这里，我看到的解决方案是，如果偏移量没有手动提交/确认，它应该由消费者选择相同的消息/偏移量

配置

import java.util.HashMap;
import java.util.Map;

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.common.serialization.StringDeserializer;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.annotation.EnableKafka;
import org.springframework.kafka.config.ConcurrentKafkaListenerContainerFactory;
import org.springframework.kafka.core.DefaultKafkaConsumerFactory;
import org.springframework.kafka.listener.AbstractMessageListenerContainer.AckMode;

@EnableKafka
@Configuration
public class ConsumerConfig {

    @Value(value = "${kafka.bootstrapAddress}")
    private String bootstrapAddress;

    @Value(value = "${kafka.groupId}")
    private String groupId;

    @Bean
    public ConcurrentKafkaListenerContainerFactory<String, String> containerFactory() {
        Map<String, Object> props = new HashMap<String, Object>();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapAddress);
        props.put(ConsumerConfig.GROUP_ID_CONFIG, groupId);
        props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);
        props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, 100);
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,
                StringDeserializer.class);
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,
                StringDeserializer.class);
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");
        ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<String, String>();
        factory.setConsumerFactory(new DefaultKafkaConsumerFactory<String, String>(
                props));
        factory.getContainerProperties().setAckMode(AckMode.MANUAL_IMMEDIATE);
        factory.getContainerProperties().setSyncCommits(true);
        return factory;
    }
}

---

这在阿帕奇·卡夫卡中是行不通的

对于当前运行的消费者，我们可能永远不会担心提交补偿。我们只需要为同一消费群体中的新消费者提供这些服务。当前轨迹在内存中的偏移量。我想在经纪公司的某个地方

---

如果您需要在同一个用户中重写同一个消息，可能是下一个轮询回合，您应该考虑使用 SeCK（）/Case>功能：

< P>将启用AutoRebug属性设置为false：

propsMap.put（ConsumerConfig.ENABLE\u AUTO\u COMMIT\u CONFIG，false）

将确认模式设置为手动\u立即：

factory.getContainerProperties（）.setAckMode（AbstractMessageListenerContainer.AckMode.MANUAL\u立即）

然后，在使用者/侦听器代码中，可以手动提交偏移量，如下所示：

@KafkaListener(topics = "testKafka")
public void receive(ConsumerRecord<?, ?> consumerRecord,  
        Acknowledgment acknowledgment) {

    System.out.println("Received message: ");
    System.out.println(consumerRecord.value().toString());

    acknowledgment.acknowledge();
}

@KafkaListener（topics=“testKafka”）
公共无效接收（用户记录用户记录，
致谢（致谢）{
System.out.println（“收到的消息：”）；
System.out.println（consumerRecord.value（）.toString（））；
确认。确认（）；
}

更新：我为此创建了一个小POC。查看它，可能会对您有所帮助。

您可以执行以下操作：
1.将当前记录偏移量存储到文件或数据库。
2.使用ConsumerAware实现kafka侦听器类。
3.调用注册表项查看回调，如下所示：

(registerSeekCallback(ConsumerSeekCallback callback) 
      {
      callback.seek(topic, partition, offset)
}

---

因此，当消费者下线或分配新消费者时，它开始读取存储在DB中的fomr偏移量

您需要执行以下操作

1） 将“启用自动提交”属性设置为false

consumerConfigProperties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");

2） 将确认模式设置为手动立即

factory.getContainerProperties().setAckMode(AckMode.MANUAL_IMMEDIATE);

3） 对于已处理的记录，您需要调用acknowledge.acknowledge（）

4） 对于失败记录，调用确认.nack（10）； 注意：nack方法需要一个长参数，即睡眠时间，它应该小于max.poll.interval.ms

下面是一个示例代码

@KafkaListener(id = "baz", topics = "${message.topic.name}", containerFactory = "containerFactory")
public void listenPEN_RE(@Payload String message,
        @Header(KafkaHeaders.RECEIVED_PARTITION_ID) int partition,
        @Header(KafkaHeaders.OFFSET) int offsets,
        Acknowledgment acknowledgment) {

    if (value%2==0){
        acknowledgment.acknowledge();
    } else {
        acknowledgment.nack(10); //sleep time should be less than max.poll.interval.ms
    }
    value++;
}

---

寄存器seekCallback（consumersekCallback）{callback.seek（主题、分区、偏移量）}对于Spring 2.3.3，配置为factory.getContainerProperties（）.setAckMode（ContainerProperties.AckMode.MANUAL_IMMEDIATE）；我正在尝试提交一条记录，不幸的是提交了以前的记录或下一条记录，只是一条记录不起作用，你知道该采取什么方法吗？如果我们将设置从

props.put（ConsumerConfig.ENABLE\u AUTO\u commit\u CONFIG，false）

切换到

props.put会发生什么（ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG，true）

？是否需要更改任何其他代码，或者是否会触发忽略

确认。确认（）

？

@KafkaListener(id = "baz", topics = "${message.topic.name}", containerFactory = "containerFactory")
public void listenPEN_RE(@Payload String message,
        @Header(KafkaHeaders.RECEIVED_PARTITION_ID) int partition,
        @Header(KafkaHeaders.OFFSET) int offsets,
        Acknowledgment acknowledgment) {

    if (value%2==0){
        acknowledgment.acknowledge();
    } else {
        acknowledgment.nack(10); //sleep time should be less than max.poll.interval.ms
    }
    value++;
}