Apache kafka Kafka-使用多个分区的密钥特定订阅

我有一个主题，有大约100k个离散键。使用手动分区分配，我希望能够尽可能地订阅单个密钥

在这些博客文章（，）中，Confluent说支持200k个分区，但建议每个代理只支持4k个分区

问题是，我还可以做些什么来支持更多分区（除了添加更多代理之外）

---

或者，在Kafka中是否有一些模式支持按键订阅？

为什么要查找每个键的分区..为什么不为每个分区分组键？暂时假设您只有一个分区，并且该分区中的所有消息都有一个使用者。当使用者处理一条消息时，您可以获得它当前正在处理的消息的密钥，因此我假设它可以根据需要处理该密钥特定的任何内容，就像方法接受参数一样。您的逻辑是什么，您需要每个密钥有一个消费者？@KevinHooke~10k个100k密钥中每天可能有10e6条消息。如果消费者对这些密钥不感兴趣，我不希望网络将这些事件传递给消费者，我也不希望消费者浪费周期来对密钥进行反序列化，只是为了扔掉事件。您可以使用Streams API过滤具有大量已知密钥的消息（如果您知道）到一个单独的流，由一个消费群体进行处理，其余的可由另一个消费群体进行消费？