Apache kafka 当卡夫卡清除信息时
我有Apache Kafka群集,保留策略删除,保留期设置为24小时。 然后,我动态更改了保留期,并针对某个特定主题将其设置为1分钟。但旧信息仍然存在,因此我有几个问题: 保留的触发点是什么?我假设,虽然为消息设置了明确的生存时间,但不能保证消息会在这段时间之后被删除。那么这个过程是什么呢?在参考资料中找不到任何内容 如果我在运行时更改保留期,旧消息是否会遵守它。据我所知,保留期是主题范围的属性,应该也适用于在第一个保留期发布的邮件。Apache kafka 当卡夫卡清除信息时,apache-kafka,Apache Kafka,我有Apache Kafka群集,保留策略删除,保留期设置为24小时。 然后,我动态更改了保留期,并针对某个特定主题将其设置为1分钟。但旧信息仍然存在,因此我有几个问题: 保留的触发点是什么?我假设,虽然为消息设置了明确的生存时间,但不能保证消息会在这段时间之后被删除。那么这个过程是什么呢?在参考资料中找不到任何内容 如果我在运行时更改保留期,旧消息是否会遵守它。据我所知,保留期是主题范围的属性,应该也适用于在第一个保留期发布的邮件。 保留策略仅应用于已关闭的段。如果您的段仍处于活动状态,则在关
保留策略仅应用于已关闭的段。如果您的段仍处于活动状态,则在关闭和打开新段之前,不会清除该段中的数据。在每个代理上,分区被划分为段日志。默认情况下,段将存储1GB的数据log.segment.bytes。此外,默认情况下,每隔7天推出一个新的日志段log.roll.hours 每个代理安排一个更干净的线程,负责定期检查哪些段可以删除。默认情况下,cleaner线程将每5分钟运行一次检查,这可以通过代理配置log.retention.check.interval.ms进行配置 如果日志中的最新消息早于配置的保留期,则段是可移动的。此外,无法删除代理当前正在写入的活动段日志 为了能够尽快删除段日志,您应该配置与保留期相关的日志滚动。例如,如果将保留期配置为24小时,则可以将log.roll.hours配置为1小时 请注意,段删除实际上可以在每个代理上的不同时间发生,因为更干净的线程被安排在一起 使用kafka配置脚本检查特定主题配置: 例如:
./bin/kafka configs-descripe-zookeer localhost:2181-实体类型主题-实体名称\u消费者\u偏移量您可以共享配置吗?另外,您是如何更改该特定主题的保留主题的?除了时间之外,日志大小也会影响保留