Apache kafka 卡夫卡消费者日志”;“自动偏移提交失败”;每隔几分钟
我正在使用Kafka 0.9“新”消费者API连接到Kafka 0.9.0.0。每隔几分钟,将记录以下错误: 2016-01-27T16:38:14584Z[pool-1-thread-1]错误 o、 a.k.c.c.i.ConsumerCoordinator-自动偏移提交失败。 org.apache.kafka.clients.consumer.internals.SendFailedException:null 我的经纪人和消费者的配置 代理日志中没有相应的/关于日志的消息,并且记录似乎在我的系统中流动得很好。此消息主要是一种烦恼,会引起分心的警报和噪音 我很想知道这个例外意味着什么,但我真正的问题是:Apache kafka 卡夫卡消费者日志”;“自动偏移提交失败”;每隔几分钟,apache-kafka,Apache Kafka,我正在使用Kafka 0.9“新”消费者API连接到Kafka 0.9.0.0。每隔几分钟,将记录以下错误: 2016-01-27T16:38:14584Z[pool-1-thread-1]错误 o、 a.k.c.c.i.ConsumerCoordinator-自动偏移提交失败。 org.apache.kafka.clients.consumer.internals.SendFailedException:null 我的经纪人和消费者的配置 代理日志中没有相应的/关于日志的消息,并且记录似乎在我
SendFailedException
log消息我在不同的地方有相同的错误消息(Heron和KafkaSpout)! 我的发现如下:
如果使用
enable.auto.commit=true
则不能使用consumer.commitAsync()代码>我想auto.commit.interval.ms应该大于offset.commit.timeout.ms。但我不确定。@BAE我尝试将auto.commit.interval.ms
的值加倍,因此它是10000,而将offset.commit.timeout.ms
保留为默认值5000。还是有错误,我不知道。为了编写一个故障安全机制,或者假设有一个进程在您使用消息后失败,在这种情况下,您可能需要决定是否手动提交消费者。这就是为什么需要consumer.commitAsync