Apache kafka 从Kafka检索信息，该信息的字段与很长列表中的一个值匹配

我对卡夫卡有点陌生

我有一个概念性的问题。 假设有一个Kafka主题（publish-subscribe），其中包含消息（格式为JSON）。每条消息都有一个名为“用户名”的字段。 有多个应用程序使用此主题。 假设我们有一个应用程序可以处理100000个用户的消息。此应用程序具有100000个用户名的列表。因此，我们的应用程序需要关注主题并处理用户名字段与100000个用户名中任意一个匹配的消息

这样做的一种方法是，我们阅读每一条发布的消息，获取该消息中的用户名，然后遍历我们拥有的100000个用户名的列表。如果列表中的一个名称与用户名匹配，我们将处理该名称，否则将忽略该消息

有没有其他更优雅的方法可以做到这一点，比如，卡夫卡流或消费api中有什么功能可以做到这一点

---

谢谢

您必须消费、反序列化和检查每条记录。您无法使用任何更高级别的库来绕过消费者api基础，但是，是的，ksqlDB或Kafka Streams使此类代码更易于编写，只是性能没有任何提高

如果要检查列表中的字段，请使用哈希集