Apache kafka streams KStreams tmp文件清理

Apache kafka streams KStreams tmp文件清理,apache-kafka-streams,Apache Kafka Streams,My Kstreams consumer在/tmp/kafka streams/下存储一些检查点信息。在我们的例子中,这个文件夹填充得相当快。My kstream基本上在3秒钟的时间内消耗1kb的消息,并基于密钥进行重复数据消除。我正在寻找关于如何定期清除此数据的建议,以便磁盘不会因保留哪些文件而填满?如果使用窗口聚合,默认情况下会使用1天的保留时间,以便正确处理无序数据。这意味着,将存储过去24小时(或实际上最多36小时)的所有窗口 您可以尝试缩短保留时间以存储较短的历史记录: .aggre

My Kstreams consumer在
/tmp/kafka streams/
下存储一些检查点信息。在我们的例子中,这个文件夹填充得相当快。My kstream基本上在3秒钟的时间内消耗1kb的消息,并基于密钥进行重复数据消除。我正在寻找关于如何定期清除此数据的建议,以便磁盘不会因保留哪些文件而填满?

如果使用窗口聚合,默认情况下会使用1天的保留时间,以便正确处理无序数据。这意味着,将存储过去24小时(或实际上最多36小时)的所有窗口

您可以尝试缩短保留时间以存储较短的历史记录:

  • .aggregate(…,物化.as(null).withRetentionTime(…)
  • 较旧版本(2.1.0之前的版本):
    TimeWindows#直到(…)
    (或
    SessionWindows#直到(…)

这就是我一直在寻找的。。非常感谢。还将
state.dir
更改为具有更多内存的其他目录。。将更新保留时间