Apache kafka 仅使用给定帐户的主题消息
我有一个计算帐户信誉分数的服务。它将计算结果放在卡夫卡主题“声誉分数”中。每条消息看起来都像这样:Apache kafka 仅使用给定帐户的主题消息,apache-kafka,kafka-consumer-api,Apache Kafka,Kafka Consumer Api,我有一个计算帐户信誉分数的服务。它将计算结果放在卡夫卡主题“声誉分数”中。每条消息看起来都像这样: { "account" : 12345, "repScore" : 98765} 我希望我的消费者能够仅为特定帐户消费这些邮件 例如,我希望为帐户12345提供一个消费者仅消费主题为“信誉评分”的邮件的单个实例。该实例可能是其消费者组的唯一成员 卡夫卡能否根据消息内容进行过滤?最好的方法是什么 谢谢你的帮助 卡夫卡能否根据消息内容进行过滤 因为卡夫卡本身不知道你的数据中有什么,所以它不能索引它,
{ "account" : 12345, "repScore" : 98765}
我希望我的消费者能够仅为特定帐户消费这些邮件
例如,我希望为帐户12345提供一个消费者仅消费主题为“信誉评分”的邮件的单个实例。该实例可能是其消费者组的唯一成员
卡夫卡能否根据消息内容进行过滤?最好的方法是什么
谢谢你的帮助
卡夫卡能否根据消息内容进行过滤
因为卡夫卡本身不知道你的数据中有什么,所以它不能索引它,因此它不容易搜索。您需要处理整个主题,并对要解析的反序列化记录进行显式检查。例如,这就是具有简单筛选操作的流处理应用程序将提供给您的
如果您希望保留按特定项进行查找的功能,则需要制作一个分割器,分割您感兴趣的所有数据,或者为每个项创建一个主题(这实际上只适用于某些用例,而不适用于单个用户帐户)
您可以将所有事件插入内存中的数据库,然后对该分区执行查询您可以使用自定义分区器创建一个特定于12345的分区,并将用户分配给该分区,而不是订阅主题。您的意思是要从用户处对任意帐户的主题中的值进行k/v查找吗?或者您希望消费者的给定实例处理给定帐户,但所有消息都已处理?@a.Dev,谢谢。“我会查清楚的。”罗宾,我已经用一个例子更新了这个问题。谢谢你的帮助。关于使用
spring Kafka
有什么想法吗?我相信你知道卡夫卡·乔纳桑