Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 从Kafka获取消息时缓冲区下溢_Apache Kafka_Apache Storm_Trident - Fatal编程技术网

Apache kafka 从Kafka获取消息时缓冲区下溢

Apache kafka 从Kafka获取消息时缓冲区下溢,apache-kafka,apache-storm,trident,Apache Kafka,Apache Storm,Trident,我正在为流处理设置storm,我的三叉戟喷口正在从kafka主题获取数据,但在从kafka获取消息时,我正在不断获取BufferUnderFlowException: java.lang.RuntimeException:java.lang.RuntimeException:java.nio.BufferUnderflowException 在backtype.storm.utils.DisruptorQueue.ConsumerBatchToCursor(DisruptorQueue.java

我正在为流处理设置storm,我的三叉戟喷口正在从kafka主题获取数据,但在从kafka获取消息时,我正在不断获取BufferUnderFlowException:

java.lang.RuntimeException:java.lang.RuntimeException:java.nio.BufferUnderflowException 在backtype.storm.utils.DisruptorQueue.ConsumerBatchToCursor(DisruptorQueue.java:128)~[storm-core-0.9.5.jar:0.9.5] 在backtype.storm.utils.DisruptorQueue.ConsumerBatchWhenAvailable(DisruptorQueue.java:99)~[storm-core-0.9.5.jar:0.9.5] 原因:java.lang.RuntimeException:java.nio.BufferUnderflowException 在storm.kafka.KafkaUtils.fetchMessages(KafkaUtils.java:177)~[stormjar.jar:na] 在storm.kafka.trident.tridentkafkafitter.fetchMessages(tridentkafkafitter.java:132)~[stormjar.jar:na] 在storm.kafka.trident.tridentkafkafitter.doEmitNewPartitionBatch(tridentkafkafitter.java:113)~[stormjar.jar:na]

原因:java.nio.BufferUnderflowException:null 在java.nio.HeapByteBuffer.get(HeapByteBuffer.java:151)~[na:1.8.0\u 05] 在java.nio.ByteBuffer.get(ByteBuffer.java:715)~[na:1.8.0\u 05] 在kafka.api.ApiUtils$.readShortString(ApiUtils.scala:40)~[stormjar.jar:na]


我使用的storm版本是0.9.5,kafka版本是2.11。我无法理解是什么造成了这里的问题

如果将不同版本的Kafka客户端用于代理,则可能会出现类似错误。

如果将不同版本的Kafka客户端用于代理,则可能会出现类似错误。

是否确实对生成器和拓扑?谢谢@ChrisGerken,这真的解决了我的问题:)你确定在生产者和拓扑中对消息和密钥使用相同的序列化程序和反序列化程序吗?谢谢@ChrisGerken,这真的解决了我的问题:)有相同的体验最近kafka中还有一个bug,在某些情况下在获取消费者组信息时导致BufferUnderflowException:有相同的体验最近kafka中还有一个bug,在获取消费者组信息时导致BufferUnderflowException某些情况下的消费者群体信息: