Kafka Streams-用于基于日期的筛选 我想考虑使用卡夫卡和Kafka Streams在java、Spring为基础的服务中,用于下面的场景: 事件始终发布到系统。每个事件都包含id、时间字段、类型和操作 事件规则存在于系统中,很少。。。并不时发布规则(罕见) 每个事件规则包括id(与事件本身不同)、日期范围、类型和操作。 事件规则的目标是根据类型、操作和日期范围查找传入事件的匹配项

Kafka Streams-用于基于日期的筛选 我想考虑使用卡夫卡和Kafka Streams在java、Spring为基础的服务中,用于下面的场景: 事件始终发布到系统。每个事件都包含id、时间字段、类型和操作 事件规则存在于系统中,很少。。。并不时发布规则(罕见) 每个事件规则包括id(与事件本身不同)、日期范围、类型和操作。 事件规则的目标是根据类型、操作和日期范围查找传入事件的匹配项,java,spring,apache-kafka,apache-kafka-streams,Java,Spring,Apache Kafka,Apache Kafka Streams,我想回答以下情况: 根据运行时中的现有事件规则筛选事件 当一个新事件或事件规则发布到系统时,我希望在不进行任何手动干预的情况下查找匹配项 我想有能力插入一个新的规则,与旧的日期范围,并找到匹配。例如,查找上个月的相关事件 对于非流处理,我可以考虑如何在DB中找到这些匹配,使用一些类型、操作和日期范围的过滤。 但是,我不确定如何使用数据管道体系结构来实现这一点 是否可以创建2 KStream,根据类型、操作设置密钥并进行连接。然后,根据日期范围进行筛选? 它在卡夫卡有效吗 任何帮助都是非常感谢的

我想回答以下情况:

  • 根据运行时中的现有事件规则筛选事件
  • 当一个新事件或事件规则发布到系统时,我希望在不进行任何手动干预的情况下查找匹配项
  • 我想有能力插入一个新的规则,与旧的日期范围,并找到匹配。例如,查找上个月的相关事件
  • 对于非流处理,我可以考虑如何在DB中找到这些匹配,使用一些类型、操作和日期范围的过滤。 但是,我不确定如何使用数据管道体系结构来实现这一点

    是否可以创建2 KStream,根据类型、操作设置密钥并进行连接。然后,根据日期范围进行筛选? 它在卡夫卡有效吗


    任何帮助都是非常感谢的

    您可以使用Kafka Streams的过滤功能来获取特定范围的消息您的意思是将KStream连接到KStream还是KStream连接到KTable或。。。?假设我有一个加入,然后我可以筛选特定的日期,只获得相关的事件。。。但是,如果我想得到旧数据的结果。。。对大量记录进行联接/筛选是否有效。。。或者这不是最好的方法?这与带有日期筛选器的DB搜索相比…无。在单个流上只有一个filter()函数。不需要加入OK,假设我在事件中有更多细节,我应该根据事件规则进行匹配。。。这应该是第一个过滤器,然后,我还应该根据日期进行过滤。如何基于其他KStream/ktable进行筛选我不确定。连接到KTable需要精确匹配,而不是值的范围。