Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 卡夫卡流窗口加入保留_Apache Kafka_Apache Kafka Streams - Fatal编程技术网

Apache kafka 卡夫卡流窗口加入保留

Apache kafka 卡夫卡流窗口加入保留,apache-kafka,apache-kafka-streams,Apache Kafka,Apache Kafka Streams,我们正在使用kafka streams的windows连接来连接2个流,我们想知道: 为什么KS在内部主题中增加+24小时?例如,我们的窗口为1小时,但内部主题的保留时间为25小时。我们可以将其配置为不添加这些24小时吗 KS似乎将两个流的数据都保存在窗口中—内部主题和状态存储(rocksdb)—是否有办法仅将流保存在联接的左侧 [更新] 例如,我们创建JoinWindow,如下所示: JoinWindows.of(300000).before(600000).until(3600000)

我们正在使用kafka streams的windows连接来连接2个流,我们想知道:

  • 为什么KS在内部主题中增加+24小时?例如,我们的窗口为1小时,但内部主题的保留时间为25小时。我们可以将其配置为不添加这些24小时吗
  • KS似乎将两个流的数据都保存在窗口中—内部主题和状态存储(rocksdb)—是否有办法仅将流保存在联接的左侧
[更新]

例如,我们创建JoinWindow,如下所示:

JoinWindows.of(300000).before(600000).until(3600000)
虽然我可以看到内部主题(JOINTHIS和OUTEROTHER)是用

Configs:retention.ms=90000000

这是刚刚在我的机器上的空代理(使用)上测试的

我将部分回答我自己关于+24小时的问题: 事实上,文档在这里清楚地谈到了这一点:

默认保留设置为Windows#maintainMs()+1天。您可以通过在StreamsConfig中指定StreamsConfig.WINDOW\u STORE\u CHANGE\u LOG\u ADDITIONAL\u RETENTION\u MS\u CONFIG来覆盖此设置

这是关于