Apache kafka 卡夫卡经纪人重启后卡夫卡主题不平衡
我们的卡夫卡集群中有奇怪的行为 当我们运行描述的信息时Apache kafka 卡夫卡经纪人重启后卡夫卡主题不平衡,apache-kafka,apache-zookeeper,Apache Kafka,Apache Zookeeper,我们的卡夫卡集群中有奇怪的行为 当我们运行描述的信息时 /usr/hdp/current/kafka-broker/bin/kafka-topics.sh –zookeeperzookeper_server:2181 –describe 例如,我们得到(这是所有主题的场景) 我们讨论了所有主题(-1),Isr不是应该是空的 Topic:__consumer_offsets PartitionCount:50 ReplicationFactor:3
/usr/hdp/current/kafka-broker/bin/kafka-topics.sh –zookeeperzookeper_server:2181 –describe
例如,我们得到(这是所有主题的场景)
我们讨论了所有主题(-1),Isr不是应该是空的
Topic:__consumer_offsets PartitionCount:50 ReplicationFactor:3 Configs:segment.bytes=1138822,cleanup.policy=compact,compression.type=producer
Topic: __consumer_offsets Partition: 0 Leader: -1 Replicas: 1000,1002,1001 Isr:
Topic: __consumer_offsets Partition: 1 Leader: -1 Replicas: 1000,1002,1001 Isr:
Topic: __consumer_offsets Partition: 2 Leader: -1 Replicas: 1000,1002,1001 Isr:
Topic: __consumer_offsets Partition: 3 Leader: -1 Replicas: 1000,1002,1001 Isr:
Topic: __consumer_offsets Partition: 4 Leader: -1 Replicas: 1000,1002,1001 Isr:
Topic:gen_topic_totCount:100 ReplicationFactor:3 Configs:
Topic: gen_topic_tot: 0 Leader: -1 Replicas: 1002,1000,1001 Isr:
Topic: gen_topic_tot: 1 Leader: -1 Replicas: 1000,1001,1002 Isr:
Topic: gen_topic_tot: 2 Leader: -1 Replicas: 1001,1002,1000 Isr:
这发生在我们重新启动zookeeper和kafka 2天后
首先,所有主题都是平衡的,Isr与ids是一致的
但超过24小时后,我们得到了这种状态
从zookeeper日志中,我们没有看到任何错误,从卡夫卡的server.log中也没有看到错误,卡夫卡代理正在启动)
100010011002-代理ID是否等待您重新启动zookeeper?合奏的规模是多少?仅供参考,建议在一个集合中有3个节点。如果你出于任何原因想关闭一个zookeeper节点,那么3节点集成可以满足它。我们有3个zookeeper服务器,3台卡夫卡服务器可能5台zookeepers服务器更好?如果重启后一切正常,那么我假设与leader的连接被中断。那么我们如何验证任何断开连接的问题?等等,你重启了zookeeper?合奏的规模是多少?仅供参考,建议在一个集合中有3个节点。如果您想出于任何原因关闭一个zookeeper节点,那么3节点集成可以满足需要。我们有3个zookeeper服务器和3个kafka服务器可能5个zookeeper服务器更好?如果重启后一切正常,那么我假设与leader的连接被中断。那么我们如何验证任何断开连接的问题?