Spring kafka SpringKafka-如何使用注释为侦听器指定一系列分区？

我有3个主题，每个主题有50个分区。我想使用@KafkaListener为不同的分区指定侦听器

我应该为每个主题安排一个听众吗

一个主题是否应该有多个侦听器，如果是，如何为一个主题指定一个分区范围

另外，在3个主题中，有2个主题的数据量比第三个主题的数据量大得多，因此我是否应该为这个主题设置更多的侦听器，以便它能够跟上负载

我应该如何选择并发数

到目前为止，我的代码是：

    @Configuration
    @EnableKafka
public class ConsumerConfig {

  // Factory to create the consumer classes
  @Bean
  public ConsumerFactory<String, String> consumerFactory() {
    return new DefaultKafkaConsumerFactory<String, String>(consumerConfigs());
  }

  @Bean
  public Map<String, Object> consumerConfigs() {
    Map<String, Object> propsMap = new HashMap<>();
    propsMap.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
    propsMap.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);
    propsMap.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "100");
    propsMap.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, "15000");
    propsMap.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
    propsMap.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
    propsMap.put(ConsumerConfig.GROUP_ID_CONFIG, "group1");
    propsMap.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
    return propsMap;
  }


  //
  @Bean
  KafkaListenerContainerFactory<ConcurrentMessageListenerContainer<String, String>> kafkaListenerContainerFactory() {
    ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>();
    factory.setConsumerFactory(consumerFactory());
    factory.setConcurrency(3);
    factory.getContainerProperties().setPollTimeout(3000);
    return factory;
  }

  @Bean
  public Listener listener() {
    return new Listener();
  }
}

看

您还可以使用显式主题和分区（可选）及其初始偏移量配置POJO侦听器：

或者，您可以在属性中以逗号分隔的列表形式提供它们，并使用

partitions = { "#{'${partition.list}'.split(',')}" })

---

谢谢你，加里！如何将侦听器配置为从主题中的所有分区读取？它希望我显式地指定分区，但是我们有50个分区，那么有没有更好的方法来指定它们而不是列出所有50个分区呢？您可以使用SpEL表达式来创建一个分区号数组。有关几个示例，请参见对我的答案的编辑。

@SpringBootApplication
public class So53588657Application {

    public static void main(String[] args) {
        SpringApplication.run(So53588657Application.class, args);
    }

    @Bean
    public NewTopic topic() {
        return new NewTopic("so53588657", 50, (short) 1);
    }

    @KafkaListener(id = "odd", topicPartitions =
            @TopicPartition(topic = "so53588657",
                partitions = "#{T(com.example.So53588657Application$SplitParts).odds(50)}"))
    public void oddParts(String in) {
        // ...
    }

    @KafkaListener(id = "even", topicPartitions =
            @TopicPartition(topic = "so53588657",
                partitions = "#{T(com.example.So53588657Application$SplitParts).evens(50)}"))
    public void evenParts(String in) {
        // ...
    }

    @Bean
    public ApplicationRunner runner(KafkaListenerEndpointRegistry registry) {
        return args -> registry.getListenerContainers()
                .forEach(c -> c.getAssignedPartitions().forEach(ap -> System.out.println(ap)));
    }

    public static class SplitParts {

        public static String[] odds(int partitions) {
            return split(partitions, i -> i % 2 == 0);
        }

        public static String[] evens(int partitions) {
            return split(partitions, i -> i % 2 == 1);
        }

        private static String[] split(int partitions, IntPredicate predicate) {
            return IntStream.range(0, partitions)
                    .filter(predicate)
                    .mapToObj(i -> String.valueOf(i))
                    .collect(Collectors.toList())
                    .toArray(new String[0]);
        }

    }

}

partitions = { "#{'${partition.list}'.split(',')}" })