Apache kafka 卡夫卡消费者日志”;“自动偏移提交失败”;每隔几分钟

Apache kafka 卡夫卡消费者日志”;“自动偏移提交失败”;每隔几分钟,apache-kafka,Apache Kafka,我正在使用Kafka 0.9“新”消费者API连接到Kafka 0.9.0.0。每隔几分钟,将记录以下错误: 2016-01-27T16:38:14584Z[pool-1-thread-1]错误 o、 a.k.c.c.i.ConsumerCoordinator-自动偏移提交失败。 org.apache.kafka.clients.consumer.internals.SendFailedException:null 我的经纪人和消费者的配置 代理日志中没有相应的/关于日志的消息,并且记录似乎在我

我正在使用Kafka 0.9“新”消费者API连接到Kafka 0.9.0.0。每隔几分钟,将记录以下错误:

2016-01-27T16:38:14584Z[pool-1-thread-1]错误 o、 a.k.c.c.i.ConsumerCoordinator-自动偏移提交失败。 org.apache.kafka.clients.consumer.internals.SendFailedException:null

我的经纪人和消费者的配置

代理日志中没有相应的/关于日志的消息,并且记录似乎在我的系统中流动得很好。此消息主要是一种烦恼,会引起分心的警报和噪音

我很想知道这个例外意味着什么,但我真正的问题是:

  • 我应该担心这个例外吗
  • 如果我不需要担心,有没有办法通过调整消费者/代理配置来抑制它
  • 如果以上两个问题的答案是“否”,那么抑制这些消息的好规则是什么(我可以使用Logback来做),这样我就不会错过合法的
    SendFailedException
    log消息

  • 我在不同的地方有相同的错误消息(Heron和KafkaSpout)! 我的发现如下:


    如果使用
    enable.auto.commit=true
    则不能使用
    consumer.commitAsync()

    我想auto.commit.interval.ms应该大于offset.commit.timeout.ms。但我不确定。@BAE我尝试将
    auto.commit.interval.ms
    的值加倍,因此它是10000,而将
    offset.commit.timeout.ms
    保留为默认值5000。还是有错误,我不知道。为了编写一个故障安全机制,或者假设有一个进程在您使用消息后失败,在这种情况下,您可能需要决定是否手动提交消费者。这就是为什么需要consumer.commitAsync