Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/lua/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 如何使用Kafka流滑动窗口动态包含足够的数据点_Apache Kafka_Apache Kafka Streams - Fatal编程技术网

Apache kafka 如何使用Kafka流滑动窗口动态包含足够的数据点

Apache kafka 如何使用Kafka流滑动窗口动态包含足够的数据点,apache-kafka,apache-kafka-streams,Apache Kafka,Apache Kafka Streams,我不熟悉卡夫卡和热气腾腾。我们有一种情况,我认为卡夫卡流滑动窗口可以帮助,但我找不到任何文档或例子来说明如何 我想做的是: 对于来自卡夫卡主题的每一条新消息,我希望聚合上一小时内的所有相关消息,如果上一小时内的消息少于x条,我希望查找在较早的时间窗口中发生的相关事件 例如,新消息的值类似于{'id':123,'timestamp':'2019-06-13 20:00:00',其他键:其他值}。我想找到卡夫卡中保留的所有具有值{'id':123,'timestamp':}的消息 我遇到的问题 如果

我不熟悉卡夫卡和热气腾腾。我们有一种情况,我认为卡夫卡流滑动窗口可以帮助,但我找不到任何文档或例子来说明如何

我想做的是:

对于来自卡夫卡主题的每一条新消息,我希望聚合上一小时内的所有相关消息,如果上一小时内的消息少于x条,我希望查找在较早的时间窗口中发生的相关事件

例如,新消息的值类似于{'id':123,'timestamp':'2019-06-13 20:00:00',其他键:其他值}。我想找到卡夫卡中保留的所有具有值{'id':123,'timestamp':}的消息

我遇到的问题

如果在最后一个小时内没有消息或只发送了几条消息,我希望在较早的时间窗口中搜索消息,直到找到x条消息,或者直到最早的时间戳到达固定的日期时间

在python中,我可以使用一些重复或搜索来回顾历史数据集,但我不知道如何在Kafka流中做到这一点


有人能给点提示吗?谢谢。

@Lena根据@Matthias的建议,我将使用处理器API来处理此逻辑。您应该能够构建和操作自己的状态存储。

@Lena根据@Matthias的建议,我将使用处理器API来处理此逻辑。您应该能够构建和操作自己的状态存储。

对于您想要的内容,没有现成的支持。您可以尝试使用处理器API手动实现它:对于您想要的东西没有现成的支持。您可以尝试使用处理器API手动实现它: