Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 为什么我的卡夫卡消费者有时听不到信息?_Apache Kafka_Kafka Consumer Api - Fatal编程技术网

Apache kafka 为什么我的卡夫卡消费者有时听不到信息?

Apache kafka 为什么我的卡夫卡消费者有时听不到信息?,apache-kafka,kafka-consumer-api,Apache Kafka,Kafka Consumer Api,我使用旧卡夫卡消费0.8V。 步骤 key.deserializer=org.apache.kafka.common.serialization.StringDeserializer value.deserializer=com.xx.RawFileSerializer zookeeper.connect=zookeeper.xx\:2181 serializer.class=com.xx.RawFileEncoderDecoder bootstrap.servers=kafka.xx\:909

我使用旧卡夫卡消费0.8V。 步骤

key.deserializer=org.apache.kafka.common.serialization.StringDeserializer
value.deserializer=com.xx.RawFileSerializer
zookeeper.connect=zookeeper.xx\:2181
serializer.class=com.xx.RawFileEncoderDecoder
bootstrap.servers=kafka.xx\:9092
group.id=test
consumer.timeout.ms=-1
fetch.min.bytes=1
  • 启动侦听器
  • 发送10条消息。侦听器侦听大约4条消息
  • 发送单一消息。听不见的人
  • 再次发布了一条消息。听众没有在听
有人能解释这种行为吗

消费者

公共类KafkaMessageListenerThread实现可运行{
私人卡夫卡斯特伦溪流;
私人最终卡夫卡米萨格利斯滕纳基地消费者;
公共KafkaMessageListener线程(KafkaMessageListener使用者,KafkaStream流){
this.baseConsumer=消费者;
this.stream=流;
}
公开募捐{
ConsumerIterator itr=stream.iterator();
System.out.println(“侦听…”);
while(itr.hasNext()){
System.out.println(“卡夫卡记录:+itr.next());
字节[]数据=itr.next().message();
baseConsumer.receiveData(数据);
}
}
}
基本消费者

public void start(){
试一试{
Map topicCountMap=新HashMap();
topicCountMap.put(主题、核心常量、线程大小);
映射consumerMap=consumerConnector
.createMessageStreams(topicCountMap);
列表流=consumerMap.get(主题);
executor=Executors.newFixedThreadPool(CoreConstants.THREAD\u SIZE);
对于(最终卡夫卡斯特雷姆流:流){
submit(新的KafkaMessageListenerThread(this,stream));
}
}捕获(例外e){
System.out.println(“轮询中的eror”);
}
}
消费者财产

key.deserializer=org.apache.kafka.common.serialization.StringDeserializer
value.deserializer=com.xx.RawFileSerializer
zookeeper.connect=zookeeper.xx\:2181
serializer.class=com.xx.RawFileEncoderDecoder
bootstrap.servers=kafka.xx\:9092
group.id=test
consumer.timeout.ms=-1
fetch.min.bytes=1

您能用您的消费者代码更新您的问题吗?您需要更改topicCountMap,每个partionId有一个条目。让我知道它是否有效@Vishnu667我为相同数量的线程创建了主题计数映射。topicCountMap.put(主题,CoreContents.THREAD_SIZE);,executor=Executors.newFixedThreadPool(CoreConstants.THREAD\u SIZE);您有多少个分区用于该主题?@Vishnu667 topic:RawFile PartitionCount:1 ReplicationFactor:1 Configs:topic:RawFile Partition:0 Leader:1014 replications:1014 Isr:1014是否可以使用消费代码更新您的问题?您需要为每个partitionID更改一个条目来更改您的topicCountMap。让我知道它是否有效@Vishnu667我为相同数量的线程创建了主题计数映射。topicCountMap.put(主题,CoreContents.THREAD_SIZE);,executor=Executors.newFixedThreadPool(CoreConstants.THREAD\u SIZE);您有多少个分区用于该主题?@Vishnu667主题:原始文件分区计数:1复制因子:1配置:主题:原始文件分区:0领导者:1014副本:1014 Isr:1014