Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 当卡夫卡清除信息时_Apache Kafka - Fatal编程技术网

Apache kafka 当卡夫卡清除信息时

Apache kafka 当卡夫卡清除信息时,apache-kafka,Apache Kafka,我有Apache Kafka群集,保留策略删除,保留期设置为24小时。 然后,我动态更改了保留期,并针对某个特定主题将其设置为1分钟。但旧信息仍然存在,因此我有几个问题: 保留的触发点是什么?我假设,虽然为消息设置了明确的生存时间,但不能保证消息会在这段时间之后被删除。那么这个过程是什么呢?在参考资料中找不到任何内容 如果我在运行时更改保留期,旧消息是否会遵守它。据我所知,保留期是主题范围的属性,应该也适用于在第一个保留期发布的邮件。 保留策略仅应用于已关闭的段。如果您的段仍处于活动状态,则在关

我有Apache Kafka群集,保留策略删除,保留期设置为24小时。 然后,我动态更改了保留期,并针对某个特定主题将其设置为1分钟。但旧信息仍然存在,因此我有几个问题:

保留的触发点是什么?我假设,虽然为消息设置了明确的生存时间,但不能保证消息会在这段时间之后被删除。那么这个过程是什么呢?在参考资料中找不到任何内容 如果我在运行时更改保留期,旧消息是否会遵守它。据我所知,保留期是主题范围的属性,应该也适用于在第一个保留期发布的邮件。
保留策略仅应用于已关闭的段。如果您的段仍处于活动状态,则在关闭和打开新段之前,不会清除该段中的数据。

在每个代理上,分区被划分为段日志。默认情况下,段将存储1GB的数据log.segment.bytes。此外,默认情况下,每隔7天推出一个新的日志段log.roll.hours

每个代理安排一个更干净的线程,负责定期检查哪些段可以删除。默认情况下,cleaner线程将每5分钟运行一次检查,这可以通过代理配置log.retention.check.interval.ms进行配置

如果日志中的最新消息早于配置的保留期,则段是可移动的。此外,无法删除代理当前正在写入的活动段日志

为了能够尽快删除段日志,您应该配置与保留期相关的日志滚动。例如,如果将保留期配置为24小时,则可以将log.roll.hours配置为1小时

请注意,段删除实际上可以在每个代理上的不同时间发生,因为更干净的线程被安排在一起

使用kafka配置脚本检查特定主题配置:

例如:
./bin/kafka configs-descripe-zookeer localhost:2181-实体类型主题-实体名称\u消费者\u偏移量

您可以共享配置吗?另外,您是如何更改该特定主题的保留主题的?除了时间之外,日志大小也会影响保留