Apache kafka Kafka:获取偏移量超出分区的范围。如何避免数据丢失?

Apache kafka Kafka:获取偏移量超出分区的范围。如何避免数据丢失?,apache-kafka,spring-kafka,Apache Kafka,Spring Kafka,试图了解发生这种情况时会发生什么。 如果我们试图读取的偏移量丢失(我假设是因为卡夫卡GC’ed offet)并且auto.offset.reset=latest我们是否将数据跳过到最新的偏移量 避免数据丢失的安全配置是什么?这取决于,如果由于请求偏移量已被删除而导致偏移量超出范围,则表示您已丢失数据。将偏移量重置策略设置为最新将重置为最近生成的记录,因此您也将面临数据丢失的风险。您可能希望最早从一开始就读取策略,或者不执行任何策略以强制消费者失败,这样您就可以自行决定如何恢复,如果您想避免此场景

试图了解发生这种情况时会发生什么。 如果我们试图读取的偏移量丢失(我假设是因为卡夫卡GC’ed offet)并且
auto.offset.reset=latest
我们是否将数据跳过到最新的偏移量


避免数据丢失的安全配置是什么?

这取决于,如果由于请求偏移量已被删除而导致偏移量超出范围,则表示您已丢失数据。将偏移量重置策略设置为最新将重置为最近生成的记录,因此您也将面临数据丢失的风险。您可能希望最早从一开始就读取策略,或者不执行任何策略以强制消费者失败,这样您就可以自行决定如何恢复,如果您想避免此场景中的数据丢失谢谢@dawsaw,这真的很有帮助。我还发现了一个关于“auto.offset.reset如何控制消息消耗”的很好的解释
Fetcher INFO : Fetch offset .... is out of range for partition ..., resetting offset