Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 仅使用给定帐户的主题消息_Apache Kafka_Kafka Consumer Api - Fatal编程技术网

Apache kafka 仅使用给定帐户的主题消息

Apache kafka 仅使用给定帐户的主题消息,apache-kafka,kafka-consumer-api,Apache Kafka,Kafka Consumer Api,我有一个计算帐户信誉分数的服务。它将计算结果放在卡夫卡主题“声誉分数”中。每条消息看起来都像这样: { "account" : 12345, "repScore" : 98765} 我希望我的消费者能够仅为特定帐户消费这些邮件 例如,我希望为帐户12345提供一个消费者仅消费主题为“信誉评分”的邮件的单个实例。该实例可能是其消费者组的唯一成员 卡夫卡能否根据消息内容进行过滤?最好的方法是什么 谢谢你的帮助 卡夫卡能否根据消息内容进行过滤 因为卡夫卡本身不知道你的数据中有什么,所以它不能索引它,

我有一个计算帐户信誉分数的服务。它将计算结果放在卡夫卡主题“声誉分数”中。每条消息看起来都像这样:

{ "account" : 12345, "repScore" : 98765}
我希望我的消费者能够仅为特定帐户消费这些邮件

例如,我希望为帐户12345提供一个消费者仅消费主题为“信誉评分”的邮件的单个实例。该实例可能是其消费者组的唯一成员

卡夫卡能否根据消息内容进行过滤?最好的方法是什么

谢谢你的帮助

卡夫卡能否根据消息内容进行过滤

因为卡夫卡本身不知道你的数据中有什么,所以它不能索引它,因此它不容易搜索。您需要处理整个主题,并对要解析的反序列化记录进行显式检查。例如,这就是具有简单筛选操作的流处理应用程序将提供给您的

如果您希望保留按特定项进行查找的功能,则需要制作一个分割器,分割您感兴趣的所有数据,或者为每个项创建一个主题(这实际上只适用于某些用例,而不适用于单个用户帐户)


您可以将所有事件插入内存中的数据库,然后对该分区执行查询

您可以使用自定义分区器创建一个特定于12345的分区,并将用户分配给该分区,而不是订阅主题。您的意思是要从用户处对任意帐户的主题中的值进行k/v查找吗?或者您希望消费者的给定实例处理给定帐户,但所有消息都已处理?@a.Dev,谢谢。“我会查清楚的。”罗宾,我已经用一个例子更新了这个问题。谢谢你的帮助。关于使用
spring Kafka
有什么想法吗?我相信你知道卡夫卡·乔纳桑