Apache kafka Kafka如何处理保留期到期而消费者偏移量位于段文件中的情况?
我想知道卡夫卡会如何处理这种情况。消费者遇到了毒丸信息,并没有做出承诺。长时间(15天)无人注意。该主题的保留期为(7天)。假设此毒丸位于满足保留期删除要求的日志段文件中 会发生什么Apache kafka Kafka如何处理保留期到期而消费者偏移量位于段文件中的情况?,apache-kafka,kafka-consumer-api,apache-kafka-streams,Apache Kafka,Kafka Consumer Api,Apache Kafka Streams,我想知道卡夫卡会如何处理这种情况。消费者遇到了毒丸信息,并没有做出承诺。长时间(15天)无人注意。该主题的保留期为(7天)。假设此毒丸位于满足保留期删除要求的日志段文件中 会发生什么 Kafka是否允许在消费者主动尝试从中读取时删除此日志段文件 Kafka是否删除了日志段文件,并让消费者通过使用auto.offset.reset设置来确定从何处开始读取 这将是选项2,您可以在使用者实例上找到指示其正在寻找开始/结束的日志,或者如果auto offset reset=none表示偏移量超出范围,则
auto.offset.reset
设置来确定从何处开始读取这将是选项2,您可以在使用者实例上找到指示其正在寻找开始/结束的日志,或者如果auto offset reset=none表示偏移量超出范围,则将失败这是选项2。这就是为什么监视流处理管道中的使用者延迟非常重要的原因。否则,您可能会丢失数据,因为您的消费应用程序没有处理这些数据。