Apache kafka 如何使用Kafka流滑动窗口动态包含足够的数据点
我不熟悉卡夫卡和热气腾腾。我们有一种情况,我认为卡夫卡流滑动窗口可以帮助,但我找不到任何文档或例子来说明如何 我想做的是: 对于来自卡夫卡主题的每一条新消息,我希望聚合上一小时内的所有相关消息,如果上一小时内的消息少于x条,我希望查找在较早的时间窗口中发生的相关事件 例如,新消息的值类似于{'id':123,'timestamp':'2019-06-13 20:00:00',其他键:其他值}。我想找到卡夫卡中保留的所有具有值{'id':123,'timestamp':}的消息 我遇到的问题 如果在最后一个小时内没有消息或只发送了几条消息,我希望在较早的时间窗口中搜索消息,直到找到x条消息,或者直到最早的时间戳到达固定的日期时间 在python中,我可以使用一些重复或搜索来回顾历史数据集,但我不知道如何在Kafka流中做到这一点Apache kafka 如何使用Kafka流滑动窗口动态包含足够的数据点,apache-kafka,apache-kafka-streams,Apache Kafka,Apache Kafka Streams,我不熟悉卡夫卡和热气腾腾。我们有一种情况,我认为卡夫卡流滑动窗口可以帮助,但我找不到任何文档或例子来说明如何 我想做的是: 对于来自卡夫卡主题的每一条新消息,我希望聚合上一小时内的所有相关消息,如果上一小时内的消息少于x条,我希望查找在较早的时间窗口中发生的相关事件 例如,新消息的值类似于{'id':123,'timestamp':'2019-06-13 20:00:00',其他键:其他值}。我想找到卡夫卡中保留的所有具有值{'id':123,'timestamp':}的消息 我遇到的问题 如果
有人能给点提示吗?谢谢。@Lena根据@Matthias的建议,我将使用处理器API来处理此逻辑。您应该能够构建和操作自己的状态存储。@Lena根据@Matthias的建议,我将使用处理器API来处理此逻辑。您应该能够构建和操作自己的状态存储。对于您想要的内容,没有现成的支持。您可以尝试使用处理器API手动实现它:对于您想要的东西没有现成的支持。您可以尝试使用处理器API手动实现它: