Apache kafka 从卡夫卡主题中删除重复消息

我正在将数据从数据库导出到卡夫卡，方法是以固定大小的批发送数据。如果一个批次出现故障，我只需重新发送整个批次。我的想法不是找出正确导入了哪些消息，而是处理一些消息被导入两次的事实

Kafka实现了这个压缩步骤，在这个步骤中，具有相同消息密钥的所有消息中只保留最新的消息。压缩将删除所有重复的消息，因为所有消息都具有唯一的密钥

---

有没有办法只从卡夫卡主题读到压缩完成的程度？如果我不能一直读到最近的消息，只要我不读任何消息两次就可以了

AFAIK您无法强制卡夫卡压缩，因此唯一的选择是等待压缩发生（这可能非常棘手）

---

我认为处理这种情况更好的方法是使你的消费者幂等-幂等消费者不在乎你的流中有多少重复，结果保持不变。

好吧，你不能强制卡夫卡压缩，所以唯一的选择是等到压缩发生（这可能非常棘手）

---

我认为处理这种情况的更好方法是使你的消费者幂等-幂等消费者不在乎你的流中有多少重复项，结果保持不变。

你是如何解决的？我也有同样的问题，你是怎么解决的？我也有同样的问题。