Apache kafka java.lang.IllegalArgumentException:未知压缩类型id:5
当我试图阅读卡夫卡的作品时,出现了以下错误Apache kafka java.lang.IllegalArgumentException:未知压缩类型id:5,apache-kafka,Apache Kafka,当我试图阅读卡夫卡的作品时,出现了以下错误 java.lang.IllegalArgumentException: Unknown compression type id: 5 at org.apache.kafka.common.record.CompressionType.forId(CompressionType.java:46) at org.apache.kafka.common.record.Record.compressionType(Record.java:260) at org
java.lang.IllegalArgumentException: Unknown compression type id: 5
at org.apache.kafka.common.record.CompressionType.forId(CompressionType.java:46)
at org.apache.kafka.common.record.Record.compressionType(Record.java:260)
at org.apache.kafka.common.record.LogEntry.isCompressed(LogEntry.java:89)
at org.apache.kafka.common.record.RecordsIterator.makeNext(RecordsIterator.java:70)
at org.apache.kafka.common.record.RecordsIterator.makeNext(RecordsIterator.java:34)
at org.apache.kafka.common.utils.AbstractIterator.maybeComputeNext(AbstractIterator.java:79)
at org.apache.kafka.common.utils.AbstractIterator.hasNext(AbstractIterator.java:45)
at org.apache.kafka.clients.consumer.internals.Fetcher.parseCompletedFetch(Fetcher.java:772)
at org.apache.kafka.clients.consumer.internals.Fetcher.fetchedRecords(Fetcher.java:473)
at org.apache.kafka.clients.consumer.KafkaConsumer.pollOnce(KafkaConsumer.java:1038)
at org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:995)
at org.apache.flink.streaming.connectors.kafka.internal.KafkaConsumerThread.run(KafkaConsumerThread.java:243)
你知道这可能是什么或者我应该去哪里吗?卡夫卡支持这些压缩编解码器-无、GZIP、SNAPPY、LZ4、ZSTD。压缩类型介于0-4之间(如下链接所述)
如果您使用的压缩编解码器与这些不同,则需要将其更改为Kafka支持的压缩编解码器。由于客户端版本不兼容,并且在旧版本的Kafka上创建的主题不兼容,因此我遇到了相同的问题
检查您的kafka消费者客户端版本和kafka版本。这通常是由于客户端和服务器之间的版本不兼容造成的。查看您是否有类似的设置。我们正在使用“lz4”。但我们最近确实升级了卡夫卡版本,正如另一条评论所提到的,这可能是最有可能的原因。好吧,如果您已经在使用LZ4压缩,那么很可能是版本兼容性问题