Apache kafka 卡夫卡的逻辑压缩与消费者

这个问题是关于日志压缩主题的。我通读了文档中的日志尾和日志头概念。我不确定的是，是什么触发了日志尾部的增长或压缩。例如，如果客户机正在处理某个主题以外的消息，并且正在利用自己的空闲时间来处理，则在处理时，会向该主题发送5条带有“a”键的消息。慢速客户端是否会接收全部5条消息，或者同时会发生压缩，并且客户端最终只接收密钥“a”的最后一条消息。现在，是否会记录当前已连接的客户端尚未处理的尾部压缩消息？

如果默认段大小为1GB，消息大小为1MB，以及一组新的密钥消息，您的消费者将看到所有5个“a”密钥，因为给定这些值，您仍需要生成至少995MB的数据

---

只有封闭段（存储数据的文件）才会被压缩，而这种情况发生在计划的LogCleaner线程上。您可以调整主题的脏率和/或段大小，以确保压缩更频繁，但可能会对代理造成IO压力鉴于默认段大小为1GB，消息大小为1MB，以及一组新的键控消息，您的消费者将看到所有5个“a”键，因为给定这些值，您仍然需要生成至少995MB的数据

只有封闭段（存储数据的文件）才会被压缩，而这种情况发生在计划的LogCleaner线程上。您可以调整主题的脏率和/或段大小，以确保压缩更频繁，但可能会对代理造成IO压力