Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 卡夫卡物化视图TTL_Apache Kafka_Apache Kafka Streams_Materialized Views - Fatal编程技术网

Apache kafka 卡夫卡物化视图TTL

Apache kafka 卡夫卡物化视图TTL,apache-kafka,apache-kafka-streams,materialized-views,Apache Kafka,Apache Kafka Streams,Materialized Views,据我所知,卡夫卡默认会将主题中的记录保留7天,然后将其删除。但是卡夫卡物化视图如何,卡夫卡将在那里保存数据多长时间(无限或有限时间)?此外,Kafka是否在集群上复制物化视图?Kafka主题可以配置保留时间或日志压缩。对于日志压缩,每个键的最新记录将永远不会被删除,而具有相同键的较旧记录将定期进行垃圾收集。看 当Kafka Streams创建一个KTable或状态存储并创建一个用于容错的变更日志主题时,它将在启用日志压缩的情况下创建此变更日志主题 注意:如果您将主题直接作为KTable或Glob

据我所知,卡夫卡默认会将主题中的记录保留7天,然后将其删除。但是卡夫卡物化视图如何,卡夫卡将在那里保存数据多长时间(无限或有限时间)?此外,Kafka是否在集群上复制物化视图?

Kafka主题可以配置保留时间或日志压缩。对于日志压缩,每个键的最新记录将永远不会被删除,而具有相同键的较旧记录将定期进行垃圾收集。看

当Kafka Streams创建一个
KTable
或状态存储并创建一个用于容错的变更日志主题时,它将在启用日志压缩的情况下创建此变更日志主题

注意:如果您将主题直接作为
KTable
GlobalKTable
(即,
builder.table(…)
)阅读,则不会创建其他变更日志主题,但源主题将用于此目的。因此,源主题应该配置日志压缩(而不是保留时间)


您可以使用
StreamConfig
参数
repliaction.factor
配置所需的复制因子。如果愿意,您也可以随时手动更改复制系数,例如,通过
bin/kafka topics.sh
命令。

可以使用保留时间或日志压缩配置kafka主题。对于日志压缩,每个键的最新记录将永远不会被删除,而具有相同键的较旧记录将定期进行垃圾收集。看

当Kafka Streams创建一个
KTable
或状态存储并创建一个用于容错的变更日志主题时,它将在启用日志压缩的情况下创建此变更日志主题

注意:如果您将主题直接作为
KTable
GlobalKTable
(即,
builder.table(…)
)阅读,则不会创建其他变更日志主题,但源主题将用于此目的。因此,源主题应该配置日志压缩(而不是保留时间)


您可以使用
StreamConfig
参数
repliaction.factor
配置所需的复制因子。如果您愿意,您也可以随时手动更改复制系数,例如,通过
bin/kafka topics.sh
命令。

FYI:您实际上可以使用日志压缩和保留时间来配置主题(以防读者疑惑)。FYI:您实际上可以使用日志压缩和保留时间来配置主题(以防读者感到疑惑)。