Apache kafka 卡夫卡物化视图TTL
据我所知,卡夫卡默认会将主题中的记录保留7天,然后将其删除。但是卡夫卡物化视图如何,卡夫卡将在那里保存数据多长时间(无限或有限时间)?此外,Kafka是否在集群上复制物化视图?Kafka主题可以配置保留时间或日志压缩。对于日志压缩,每个键的最新记录将永远不会被删除,而具有相同键的较旧记录将定期进行垃圾收集。看 当Kafka Streams创建一个Apache kafka 卡夫卡物化视图TTL,apache-kafka,apache-kafka-streams,materialized-views,Apache Kafka,Apache Kafka Streams,Materialized Views,据我所知,卡夫卡默认会将主题中的记录保留7天,然后将其删除。但是卡夫卡物化视图如何,卡夫卡将在那里保存数据多长时间(无限或有限时间)?此外,Kafka是否在集群上复制物化视图?Kafka主题可以配置保留时间或日志压缩。对于日志压缩,每个键的最新记录将永远不会被删除,而具有相同键的较旧记录将定期进行垃圾收集。看 当Kafka Streams创建一个KTable或状态存储并创建一个用于容错的变更日志主题时,它将在启用日志压缩的情况下创建此变更日志主题 注意:如果您将主题直接作为KTable或Glob
KTable
或状态存储并创建一个用于容错的变更日志主题时,它将在启用日志压缩的情况下创建此变更日志主题
注意:如果您将主题直接作为KTable
或GlobalKTable
(即,builder.table(…)
)阅读,则不会创建其他变更日志主题,但源主题将用于此目的。因此,源主题应该配置日志压缩(而不是保留时间)
您可以使用
StreamConfig
参数repliaction.factor
配置所需的复制因子。如果愿意,您也可以随时手动更改复制系数,例如,通过bin/kafka topics.sh
命令。可以使用保留时间或日志压缩配置kafka主题。对于日志压缩,每个键的最新记录将永远不会被删除,而具有相同键的较旧记录将定期进行垃圾收集。看
当Kafka Streams创建一个KTable
或状态存储并创建一个用于容错的变更日志主题时,它将在启用日志压缩的情况下创建此变更日志主题
注意:如果您将主题直接作为KTable
或GlobalKTable
(即,builder.table(…)
)阅读,则不会创建其他变更日志主题,但源主题将用于此目的。因此,源主题应该配置日志压缩(而不是保留时间)
您可以使用
StreamConfig
参数repliaction.factor
配置所需的复制因子。如果您愿意,您也可以随时手动更改复制系数,例如,通过bin/kafka topics.sh
命令。FYI:您实际上可以使用日志压缩和保留时间来配置主题(以防读者疑惑)。FYI:您实际上可以使用日志压缩和保留时间来配置主题(以防读者感到疑惑)。