Apache kafka Librdkafka：崩溃时发布的处置

考虑此事件循环：

而更多的信息

msg_in=consumer.Poll（）

msg_out=转换（msg_in）

服务发布（消息输出）

---

假设一个分区，然后集中在第四行。当这个循环崩溃时，有5条消息按顺序1,2,3,4,5发送到卡夫卡。其中卡夫卡只得到了N这比你想象的还要复杂：-）

librdkafka支持。如果将该值设置为1，则在某些情况下（即，如果重试次数是无限的，则可以安全地启用重试次数。任何丢弃未送达数据的设置都可以重新排序）

在较新版本上，启用。幂等性将提高此保证，最多可达5

另一个“有趣”的场景可能是记录1、2、3、4和交付，领导代理崩溃，任命不干净的领导，删除记录4，然后交付5，导致分区中出现

1、2、3、5

或者可能讨论的主题是日志压缩的，并且其中一些记录具有完全相同的密钥