Apache kafka 卡夫卡流窗口加入保留
我们正在使用kafka streams的windows连接来连接2个流,我们想知道:Apache kafka 卡夫卡流窗口加入保留,apache-kafka,apache-kafka-streams,Apache Kafka,Apache Kafka Streams,我们正在使用kafka streams的windows连接来连接2个流,我们想知道: 为什么KS在内部主题中增加+24小时?例如,我们的窗口为1小时,但内部主题的保留时间为25小时。我们可以将其配置为不添加这些24小时吗 KS似乎将两个流的数据都保存在窗口中—内部主题和状态存储(rocksdb)—是否有办法仅将流保存在联接的左侧 [更新] 例如,我们创建JoinWindow,如下所示: JoinWindows.of(300000).before(600000).until(3600000)
- 为什么KS在内部主题中增加+24小时?例如,我们的窗口为1小时,但内部主题的保留时间为25小时。我们可以将其配置为不添加这些24小时吗
- KS似乎将两个流的数据都保存在窗口中—内部主题和状态存储(rocksdb)—是否有办法仅将流保存在联接的左侧
JoinWindows.of(300000).before(600000).until(3600000)
虽然我可以看到内部主题(JOINTHIS和OUTEROTHER)是用
Configs:retention.ms=90000000
这是刚刚在我的机器上的空代理(使用)上测试的我将部分回答我自己关于+24小时的问题: 事实上,文档在这里清楚地谈到了这一点: 默认保留设置为Windows#maintainMs()+1天。您可以通过在StreamsConfig中指定StreamsConfig.WINDOW\u STORE\u CHANGE\u LOG\u ADDITIONAL\u RETENTION\u MS\u CONFIG来覆盖此设置 这是关于