Apache kafka Kafka如何处理保留期到期而消费者偏移量位于段文件中的情况?

Apache kafka Kafka如何处理保留期到期而消费者偏移量位于段文件中的情况?,apache-kafka,kafka-consumer-api,apache-kafka-streams,Apache Kafka,Kafka Consumer Api,Apache Kafka Streams,我想知道卡夫卡会如何处理这种情况。消费者遇到了毒丸信息,并没有做出承诺。长时间(15天)无人注意。该主题的保留期为(7天)。假设此毒丸位于满足保留期删除要求的日志段文件中 会发生什么 Kafka是否允许在消费者主动尝试从中读取时删除此日志段文件 Kafka是否删除了日志段文件,并让消费者通过使用auto.offset.reset设置来确定从何处开始读取 这将是选项2,您可以在使用者实例上找到指示其正在寻找开始/结束的日志,或者如果auto offset reset=none表示偏移量超出范围,则

我想知道卡夫卡会如何处理这种情况。消费者遇到了毒丸信息,并没有做出承诺。长时间(15天)无人注意。该主题的保留期为(7天)。假设此毒丸位于满足保留期删除要求的日志段文件中

会发生什么

  • Kafka是否允许在消费者主动尝试从中读取时删除此日志段文件
  • Kafka是否删除了日志段文件,并让消费者通过使用
    auto.offset.reset
    设置来确定从何处开始读取

  • 这将是选项2,您可以在使用者实例上找到指示其正在寻找开始/结束的日志,或者如果auto offset reset=none表示偏移量超出范围,则将失败

    这是选项2。这就是为什么监视流处理管道中的使用者延迟非常重要的原因。否则,您可能会丢失数据,因为您的消费应用程序没有处理这些数据。