Apache kafka 卡夫卡经纪人重启后卡夫卡主题不平衡

Apache kafka 卡夫卡经纪人重启后卡夫卡主题不平衡,apache-kafka,apache-zookeeper,Apache Kafka,Apache Zookeeper,我们的卡夫卡集群中有奇怪的行为 当我们运行描述的信息时 /usr/hdp/current/kafka-broker/bin/kafka-topics.sh –zookeeperzookeper_server:2181 –describe 例如,我们得到(这是所有主题的场景) 我们讨论了所有主题(-1),Isr不是应该是空的 Topic:__consumer_offsets PartitionCount:50 ReplicationFactor:3

我们的卡夫卡集群中有奇怪的行为

当我们运行描述的信息时

/usr/hdp/current/kafka-broker/bin/kafka-topics.sh –zookeeperzookeper_server:2181 –describe
例如,我们得到(这是所有主题的场景)

我们讨论了所有主题(-1),Isr不是应该是空的

Topic:__consumer_offsets           PartitionCount:50             ReplicationFactor:3               Configs:segment.bytes=1138822,cleanup.policy=compact,compression.type=producer
               Topic: __consumer_offsets          Partition: 0         Leader: -1           Replicas: 1000,1002,1001                Isr: 
               Topic: __consumer_offsets          Partition: 1         Leader: -1           Replicas: 1000,1002,1001                Isr: 
               Topic: __consumer_offsets          Partition: 2         Leader: -1           Replicas: 1000,1002,1001                Isr: 
               Topic: __consumer_offsets          Partition: 3         Leader: -1           Replicas: 1000,1002,1001                Isr: 
               Topic: __consumer_offsets          Partition: 4         Leader: -1           Replicas: 1000,1002,1001                Isr:

Topic:gen_topic_totCount:100    ReplicationFactor:3         Configs:
               Topic: gen_topic_tot: 0  Leader: -1           Replicas: 1002,1000,1001             Isr: 
               Topic: gen_topic_tot: 1  Leader: -1           Replicas: 1000,1001,1002             Isr: 
               Topic: gen_topic_tot: 2  Leader: -1           Replicas: 1001,1002,1000             Isr:
这发生在我们重新启动zookeeper和kafka 2天后 首先,所有主题都是平衡的,Isr与ids是一致的 但超过24小时后,我们得到了这种状态

从zookeeper日志中,我们没有看到任何错误,从卡夫卡的server.log中也没有看到错误,卡夫卡代理正在启动)


100010011002-代理ID是否等待您重新启动zookeeper?合奏的规模是多少?仅供参考,建议在一个集合中有3个节点。如果你出于任何原因想关闭一个zookeeper节点,那么3节点集成可以满足它。我们有3个zookeeper服务器,3台卡夫卡服务器可能5台zookeepers服务器更好?如果重启后一切正常,那么我假设与leader的连接被中断。那么我们如何验证任何断开连接的问题?等等,你重启了zookeeper?合奏的规模是多少?仅供参考,建议在一个集合中有3个节点。如果您想出于任何原因关闭一个zookeeper节点,那么3节点集成可以满足需要。我们有3个zookeeper服务器和3个kafka服务器可能5个zookeeper服务器更好?如果重启后一切正常,那么我假设与leader的连接被中断。那么我们如何验证任何断开连接的问题?