Apache kafka KafkaStreams在分区领导者重新平衡后停止使用分区
我们已经试验了一个可能由参数Apache kafka KafkaStreams在分区领导者重新平衡后停止使用分区,apache-kafka,kafka-consumer-api,apache-kafka-streams,confluent-platform,leader-election,Apache Kafka,Kafka Consumer Api,Apache Kafka Streams,Confluent Platform,Leader Election,我们已经试验了一个可能由参数auto.leader.rebalance.enable引起的问题,该参数在代理上默认设置为true 具体地说,当自动重新平衡发生时,例如在代理重新启动之后,一些分区引线将被移动以匹配首选引线。 在此事件之后,一些有状态的Kafka Streams应用程序在源分区上阻塞,这些分区的领导者已被移动,使用者延迟开始增长 这是一个已知的问题吗?为什么应用程序没有收到有关领导变更的信息 如果我们需要执行代理的滚动重启,我们找到的战术解决方案是: 停止有状态应用程序 执行代理滚
auto.leader.rebalance.enable引起的问题,该参数在代理上默认设置为true
具体地说,当自动重新平衡发生时,例如在代理重新启动之后,一些分区引线将被移动以匹配首选引线。
在此事件之后,一些有状态的Kafka Streams应用程序在源分区上阻塞,这些分区的领导者已被移动,使用者延迟开始增长
这是一个已知的问题吗?为什么应用程序没有收到有关领导变更的信息
如果我们需要执行代理的滚动重启,我们找到的战术解决方案是:
停止有状态应用程序
执行代理滚动重新启动
等待5分钟(默认值),直到发生自动引线重新平衡
启动有状态的应用程序
我们使用的是部署在prem集群上3个节点上的融合平台社区5.2.2
我们正在尝试重新创建在测试环境中发生的事情,但没有成功。它是否可能受到集群负载的影响,测试中的负载要低得多
提前谢谢!
乔治在我听来像个虫子。你能检查一下Jira这个案子有没有罚单吗?如果没有,请创建一个记录单,并在对这个问题的评论中共享一个链接,以便其他人可以跟踪问题何时得到解决。对我来说,这听起来像一个bug。你能检查一下Jira这个案子有没有罚单吗?如果没有,请创建一张记录单,并在对该问题的评论中共享一个链接,以便其他人可以跟踪问题何时得到解决。