Java spring kafka中未应用的最小提取字节数属性_Java_Spring_Spring Boot_Apache Kafka_Spring Kafka

Java spring kafka中未应用的最小提取字节数属性

java spring spring-boot apache-kafka

Java spring kafka中未应用的最小提取字节数属性,java,spring,spring-boot,apache-kafka,spring-kafka,Java,Spring,Spring Boot,Apache Kafka,Spring Kafka,这是我的消费者配置： @Configuration @EnableKafka public class KafkaConfiguration { @Value("${kafka.bootstrap-servers}") private String bootstrapServers; @Bean public Map<String, Object> consumerConfigs(){ Map<String, Object&g

这是我的消费者配置：

@Configuration
@EnableKafka
public class KafkaConfiguration {

    @Value("${kafka.bootstrap-servers}")
    private String bootstrapServers;

    @Bean
    public Map<String, Object> consumerConfigs(){
        Map<String, Object> props = new HashMap<>();

        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "......MyEventDeserializer");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "id");
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
        props.put(ConsumerConfig.FETCH_MIN_BYTES_CONFIG, "100000");
        props.put(ConsumerConfig.FETCH_MAX_WAIT_MS_CONFIG, "2000");

        return props;
    }

    @Bean
    public ConsumerFactory<String, List<MyEvent>> consumerFactory() {
        return new DefaultKafkaConsumerFactory<>(consumerConfigs());
    }

    @Bean
    public KafkaListenerContainerFactory<ConcurrentMessageListenerContainer<String, List<MyEvent>>> kafkaListenerContainerFactory() {
        ConcurrentKafkaListenerContainerFactory<String, List<MyEvent>> factory = new ConcurrentKafkaListenerContainerFactory<>();
        factory.setConsumerFactory(consumerFactory());
        return factory;
    }

    @Bean
    public ProducerFactory<String, List<MyEvent>> producerFactory() {
        return new DefaultKafkaProducerFactory<>(producerConfigs());
    }
}

它不会影响发送给消费者的每条消息中的有效负载大小。当我记录进入反序列化程序的byteArray的大小时，它是常量（大约20kB—生产者发送的一条消息的大小），并且即使应用fetch.min.bytes属性，也不会改变。有没有什么我遗漏的，我应该补充一下，让它发挥作用？

我想你有一个基本的误解。你所说的“…为了让它发挥作用”是什么意思

这些属性对单个消息没有影响

如果您的消息正好有20000字节，这些设置意味着

poll（）

将等待5条消息或2秒，以先到者为准

如果你是这么想的话，它不是一种过滤掉小于10k的消息的机制

使用Spring for Apache Kafka，您可以使用

FilteringMessageListenerAdapter

筛选出您不感兴趣的消息

如果您使用的是

@KafkaListener

，请向容器工厂添加

RecordFilterStrategy

，适配器将自动应用。

我认为您有一个基本的误解。你所说的“…为了让它发挥作用”是什么意思