Apache kafka Confluent.Kafka.KafkaException:代理:指定的组生成id无效 环境 三节点卡夫卡簇 亚马逊MSK v2.3 1主题 6个分区 1个消费者群体和2个消费者 在Kubernetes跑步 汇合.NET SDK 1.2.2 除了bootstrap.servers和group.id之外,所有的默认设置 问题

Apache kafka Confluent.Kafka.KafkaException:代理:指定的组生成id无效 环境 三节点卡夫卡簇 亚马逊MSK v2.3 1主题 6个分区 1个消费者群体和2个消费者 在Kubernetes跑步 汇合.NET SDK 1.2.2 除了bootstrap.servers和group.id之外,所有的默认设置 问题,apache-kafka,Apache Kafka,首先,我的一个消费者遇到以下异常 Confluent.Kafka.KafkaException: Broker: Specified group generation id is not valid at Confluent.Kafka.Impl.SafeKafkaHandle.Commit(IEnumerable`1 offsets) at Confluent.Kafka.Consumer`2.Commit(IEnumerable`1 offsets) 异常被捕获,消费者应该重试

首先,我的一个消费者遇到以下异常

Confluent.Kafka.KafkaException: Broker: Specified group generation id is not valid
   at Confluent.Kafka.Impl.SafeKafkaHandle.Commit(IEnumerable`1 offsets)
   at Confluent.Kafka.Consumer`2.Commit(IEnumerable`1 offsets)
异常被捕获,消费者应该重试,但应用程序处于空闲状态。容器仍在运行,但不会再使用任何消息

更奇怪的是,代理从不重新分配消费者的分区,因此消费者在这些分区上的延迟开始增长。消费者似乎既活着(因为代理没有重新分配其分区),又死了(因为它不能提交其偏移量或消费更多的消息)。如果我们干预并手动重新启动使用者,那么分区将被重新分配,情况将恢复正常


我不完全确定如何处理上述例外情况。谷歌提供的服务不多。我得到的最相关的线索是,这涉及经纪人重新启动。据我所知,这在我的情况下是不会发生的。任何帮助都将不胜感激。

至少我已经为自己找到了解决方案。 在我的代码中,我执行了手动提交并设置
EnableAutoCommit=false

不知何故,对于偏移量,可能会执行两次提交。我删除了使用者的手动提交,并设置
EnableAutoCommit=true


在那之后,它起作用了。

你有没有想过这个问题?我遇到了类似的情况。我现在也犯了同样的错误。你有解决办法吗?