Apache kafka 卡夫卡:主题内消息的路由
我正在将卡夫卡整合到我们的系统中,我们有一个中心组件,它将同一类型的事件发布到特定的主题。在消费者方面,我们有多个“项目”,它们对该主题中的事件感兴趣,而这些事件只与他们相关。是否有一种方法可以只向那些用户交付相关事件,而不是以下用户Apache kafka 卡夫卡:主题内消息的路由,apache-kafka,Apache Kafka,我正在将卡夫卡整合到我们的系统中,我们有一个中心组件,它将同一类型的事件发布到特定的主题。在消费者方面,我们有多个“项目”,它们对该主题中的事件感兴趣,而这些事件只与他们相关。是否有一种方法可以只向那些用户交付相关事件,而不是以下用户 为每个项目创建使用者组,而忽略应用程序级别上其他项目的事件 为每个项目创建单独的主题 这可能是一个新手问题:/ 提前感谢您列出的两个选项可以工作,但这会使您改变输入和输出客户端的工作方式 另一种方法是使用从输入主题读取所有消息,并将每个消息发送到所需的输出主题。这
提前感谢您列出的两个选项可以工作,但这会使您改变输入和输出客户端的工作方式 另一种方法是使用从输入主题读取所有消息,并将每个消息发送到所需的输出主题。这样,生产方保持不变,您的消费者只接收他们关心的信息
看看转换。基于您的用例,我认为在这种情况下,基于消费者端的“项目”进行分区可能会有所帮助。中央生产者可以在相关分区中推送到相同的主题,以便消费者从中消费
在使用者级别,您需要将所有使用者放在一个使用者组下,并指定各个使用者将使用哪个分区。这种方法会有一个负面影响-Kafka不会自动处理负载平衡问题,因为我们会手动将每个使用者映射到每个分区。同样,如果您喜欢使用SQL进行此操作,请检查