Java 在Kafka Consumer中反序列化Avro数据包时出现堆空间问题

在Kafka consumer中反序列化avro消息时获取内存堆空间异常

与本地kafka生产者和消费者一起在Java中运行消费者代码，我试图在IntelliJ中增加堆内存，直到10GB，但仍然遇到这个问题

简单消费者类别代码

Properties props = new Properties();

            props.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,
                    "localhost:9092");
            props.put(ConsumerConfig.GROUP_ID_CONFIG, "test1");
             props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
            props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");
            props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG,"earliest");
           props.setProperty(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,
                    StringDeserializer.class.getName());
            props.setProperty(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,
                    AvroDeserializer.class.getName());

            KafkaConsumer<String, BookingContext> consumer = new KafkaConsumer<>(props);


                consumer.subscribe(Arrays.asList("fastlog"));
       while (true) {
                    ConsumerRecords<String, MyClass> records = consumer.poll(100);
                    for (ConsumerRecord<String, MyClass> record : records)  
        {
                        System.out.printf("----------------------" +
                                "+\noffset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());

       }
    }

Properties=newproperties（）；
props.setProperty（ConsumerConfig.BOOTSTRAP\u SERVERS\u CONFIG，
“本地主机：9092”）；
props.put（ConsumerConfig.GROUP_ID_CONFIG，“test1”）；
put（ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG，“true”）；
put（ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG，“1000”）；
props.put（ConsumerConfig.AUTO_OFFSET_RESET_CONFIG，“最早”）；
props.setProperty（ConsumerConfig.KEY\u反序列化程序\u类\u配置，
StringDeserializer.class.getName（））；
props.setProperty（ConsumerConfig.VALUE\u反序列化程序\u类\u配置，
AvroDeserializer.class.getName（））；
卡夫卡消费者=新卡夫卡消费者（道具）；
consumer.subscribe（Arrays.asList（“fastlog”）；
while（true）{
ConsumerRecords记录=consumer.poll（100）；
对于（消费者记录：记录）
{
System.out.printf（“-------------------------”+
“+\noffset=%d，key=%s，value=%s%n”，record.offset（），record.key（），record.value（））；
}
}

这里是我的反序列化器类，在这里我编写了在进程结束后将数据包转换为普通类的代码。 Avro反序列化程序代码：

public T deserialize(String topic, byte[] data) {
        try {
          T result = null;

          if (data != null) {
            LOGGER.debug("data='{}'", DatatypeConverter.printHexBinary(data));

            DatumReader<GenericRecord> datumReader =
                new SpecificDatumReader<>(MyClass.getClassSchema());
            Decoder decoder = DecoderFactory.get().binaryDecoder(data, null);

            result = (T) datumReader.read(null, decoder);
            LOGGER.debug("deserialized data='{}'", result);
          }
          return result;
        } catch (Exception ex) {
          throw new SerializationException(
              "Can't deserialize data '" + Arrays.toString(data) + "' from topic '" + topic + "'", ex);
        }
      }

public T反序列化（字符串主题，字节[]数据）{
试一试{
T结果=null；
如果（数据！=null）{
debug（“data='{}'，DatatypeConverter.printHexBinary（data））；
DatumReader DatumReader=
新的SpecificDatumReader（MyClass.getClassSchema（））；
Decoder Decoder=DecoderFactory.get（）.binaryDecoder（数据，null）；
结果=（T）datumReader.read（null，解码器）；
debug（“反序列化数据='{}'，结果）；
}
返回结果；
}捕获（例外情况除外）{
抛出新的序列化异常(
“无法反序列化数据”“+数组。toString（数据）+”“来自主题”“+主题+”，ex）；
}
}

线程“main”java.lang.OutOfMemoryError中的异常：java堆空间 位于org.apache.avro.generic.GenericData$Array。（GenericData.java:245） 位于org.apache.avro.generic.GenericDatumReader.newArray（GenericDatumReader.java:391） 位于org.apache.avro.generic.GenericDatumReader.readArray（GenericDatumReader.java:257） 位于org.apache.avro.generic.GenericDatumReader.readwithout转换（GenericDatumReader.java:177） 位于org.apache.avro.specific.SpecificDatumReader.readField（SpecificDatumReader.java:116） 位于org.apache.avro.generic.GenericDatumReader.readRecord（GenericDatumReader.java:222） 位于org.apache.avro.generic.GenericDatumReader.readwithout转换（GenericDatumReader.java:175） 位于org.apache.avro.specific.SpecificDatumReader.readField（SpecificDatumReader.java:116） 位于org.apache.avro.generic.GenericDatumReader.readRecord（GenericDatumReader.java:222） 位于org.apache.avro.generic.GenericDatumReader.readwithout转换（GenericDatumReader.java:175） 位于org.apache.avro.generic.GenericDatumReader.read（GenericDatumReader.java:153） 位于org.apache.avro.generic.GenericDatumReader.read（GenericDatumReader.java:145） 反序列化（AvroDeserializer.java:59） 反序列化（AvroDeserializer.java:21） 位于org.apache.kafka.common.serialization.ExtendedDeserializer$Wrapper.deserialize（ExtendedDeserializer.java:65） 位于org.apache.kafka.common.serialization.ExtendedDeserializer$Wrapper.deserialize（ExtendedDeserializer.java:55） 位于org.apache.kafka.clients.consumer.internal.Fetcher.parseRecord（Fetcher.java:918） 位于org.apache.kafka.clients.consumer.internals.Fetcher.access$2600（Fetcher.java:93） 位于org.apache.kafka.clients.consumer.internal.Fetcher$PartitionRecords.fetchRecords（Fetcher.java:1095） 位于org.apache.kafka.clients.consumer.internal.Fetcher$PartitionRecords.access$1200（Fetcher.java:944） 位于org.apache.kafka.clients.consumer.internal.Fetcher.fetchRecords（Fetcher.java:567） 位于org.apache.kafka.clients.consumer.internal.Fetcher.fetchedRecords（Fetcher.java:528） 访问org.apache.kafka.clients.consumer.KafkaConsumer.pollOnce（KafkaConsumer.java:1110） 访问org.apache.kafka.clients.consumer.KafkaConsumer.poll（KafkaConsumer.java:1043） 在SimpleConsumer.main（SimpleConsumer.java:43）

---

您发布的代码没有显示任何可能耗尽内存的内容，但您显然将这些

结果

返回的值存储在其他地方，而不是在它们之后进行清理。我建议您检查调用您的

反序列化

方法的任何内容，并检查是否将所有这些结果存储在列表或其他数据结构中，而不是清除它们

您可以做的另一件事是运行JVisualVM之类的JVM探查器，然后进行堆转储，以显示阻塞JVM堆的对象的类型/数量

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
        at org.apache.avro.generic.GenericData$Array.<init>(GenericData.java:245)
        at org.apache.avro.generic.GenericDatumReader.newArray(GenericDatumReader.java:391)
        at org.apache.avro.generic.GenericDatumReader.readArray(GenericDatumReader.java:257)
        at org.apache.avro.generic.GenericDatumReader.readWithoutConversion(GenericDatumReader.java:177)
        at org.apache.avro.specific.SpecificDatumReader.readField(SpecificDatumReader.java:116)
        at org.apache.avro.generic.GenericDatumReader.readRecord(GenericDatumReader.java:222)
        at org.apache.avro.generic.GenericDatumReader.readWithoutConversion(GenericDatumReader.java:175)
        at org.apache.avro.specific.SpecificDatumReader.readField(SpecificDatumReader.java:116)
        at org.apache.avro.generic.GenericDatumReader.readRecord(GenericDatumReader.java:222)
        at org.apache.avro.generic.GenericDatumReader.readWithoutConversion(GenericDatumReader.java:175)
        at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:153)
        at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:145)
        at kafka.serializer.AvroDeserializer.deserialize(AvroDeserializer.java:59)
        at kafka.serializer.AvroDeserializer.deserialize(AvroDeserializer.java:21)
        at org.apache.kafka.common.serialization.ExtendedDeserializer$Wrapper.deserialize(ExtendedDeserializer.java:65)
        at org.apache.kafka.common.serialization.ExtendedDeserializer$Wrapper.deserialize(ExtendedDeserializer.java:55)
        at org.apache.kafka.clients.consumer.internals.Fetcher.parseRecord(Fetcher.java:918)
        at org.apache.kafka.clients.consumer.internals.Fetcher.access$2600(Fetcher.java:93)
        at org.apache.kafka.clients.consumer.internals.Fetcher$PartitionRecords.fetchRecords(Fetcher.java:1095)
        at org.apache.kafka.clients.consumer.internals.Fetcher$PartitionRecords.access$1200(Fetcher.java:944)
        at org.apache.kafka.clients.consumer.internals.Fetcher.fetchRecords(Fetcher.java:567)
        at org.apache.kafka.clients.consumer.internals.Fetcher.fetchedRecords(Fetcher.java:528)
        at org.apache.kafka.clients.consumer.KafkaConsumer.pollOnce(KafkaConsumer.java:1110)
        at org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:1043)
        at SimpleConsumer.main(SimpleConsumer.java:43)