Apache kafka 压缩主题:日志清理器和偏移量消耗

Apache kafka 压缩主题:日志清理器和偏移量消耗,apache-kafka,Apache Kafka,与主题压缩相关的问题。在压缩主题中,当日志清理器清理特定密钥的先前偏移量3、4、5时出现延迟,假设5是最新偏移量,当作为消费者使用这些偏移量时,即使3和4尚未压缩,我也只能看到该键的最新偏移量5,或者消费者将按该顺序获得3,4,5?如果3和4尚未压缩出主题,则消费者将获得3,4,5。这与您在3是最新消息时订阅,然后在随后发布的4和5中订阅时得到的结果相同,因此不会破坏您的消费者逻辑。此外,压缩不会在每个主题分区的最新段上运行,因为这些段文件仍处于打开状态以供写入。这意味着不能保证每个密钥只存在于

与主题压缩相关的问题。在压缩主题中,当日志清理器清理特定密钥的先前偏移量3、4、5时出现延迟,假设5是最新偏移量,当作为消费者使用这些偏移量时,即使3和4尚未压缩,我也只能看到该键的最新偏移量5,或者消费者将按该顺序获得3,4,5?

如果3和4尚未压缩出主题,则消费者将获得3,4,5。这与您在3是最新消息时订阅,然后在随后发布的4和5中订阅时得到的结果相同,因此不会破坏您的消费者逻辑。此外,压缩不会在每个主题分区的最新段上运行,因为这些段文件仍处于打开状态以供写入。这意味着不能保证每个密钥只存在于一条消息上