Apache kafka 卡夫卡:主题内消息的路由

Apache kafka 卡夫卡:主题内消息的路由,apache-kafka,Apache Kafka,我正在将卡夫卡整合到我们的系统中,我们有一个中心组件,它将同一类型的事件发布到特定的主题。在消费者方面,我们有多个“项目”,它们对该主题中的事件感兴趣,而这些事件只与他们相关。是否有一种方法可以只向那些用户交付相关事件,而不是以下用户 为每个项目创建使用者组,而忽略应用程序级别上其他项目的事件 为每个项目创建单独的主题 这可能是一个新手问题:/ 提前感谢您列出的两个选项可以工作,但这会使您改变输入和输出客户端的工作方式 另一种方法是使用从输入主题读取所有消息,并将每个消息发送到所需的输出主题。这

我正在将卡夫卡整合到我们的系统中,我们有一个中心组件,它将同一类型的事件发布到特定的主题。在消费者方面,我们有多个“项目”,它们对该主题中的事件感兴趣,而这些事件只与他们相关。是否有一种方法可以只向那些用户交付相关事件,而不是以下用户

  • 为每个项目创建使用者组,而忽略应用程序级别上其他项目的事件
  • 为每个项目创建单独的主题
  • 这可能是一个新手问题:/
    提前感谢

    您列出的两个选项可以工作,但这会使您改变输入和输出客户端的工作方式

    另一种方法是使用从输入主题读取所有消息,并将每个消息发送到所需的输出主题。这样,生产方保持不变,您的消费者只接收他们关心的信息


    看看转换。

    基于您的用例,我认为在这种情况下,基于消费者端的“项目”进行分区可能会有所帮助。中央生产者可以在相关分区中推送到相同的主题,以便消费者从中消费


    在使用者级别,您需要将所有使用者放在一个使用者组下,并指定各个使用者将使用哪个分区。这种方法会有一个负面影响-Kafka不会自动处理负载平衡问题,因为我们会手动将每个使用者映射到每个分区。

    同样,如果您喜欢使用SQL进行此操作,请检查