Apache kafka org.apache.kafka.common.errors.NotLeaderForPartitionException:此服务器不是该主题分区的负责人
我们正在2节点集群中运行Kafka(vesion Kafka_2.11-0.10.1.0)。 我们有两个生产者(JavaAPI)处理不同的主题。每个主题都有一个分区。 我们讨论这个问题的主题有一个消费者在运行。 这个设置已经正常运行了3个月,我们看到了这个问题。其他论坛中针对这个问题提出的所有案例/解决方案似乎都不适用于我的场景 生产者的例外情况 -2017-11-25T17:40:33035[kafka producer网络线程| producer-1]错误client.producer.BingLogProducerCallback-遇到异常 在发送消息时;>org.apache.kafka.common.errors.NotLeaderForPartitionException:此 服务器不是该主题分区的领导者 我们没有为消息启用重试,因为这是事务性数据,我们希望维护顺序 生产者配置:Apache kafka org.apache.kafka.common.errors.NotLeaderForPartitionException:此服务器不是该主题分区的负责人,apache-kafka,kafka-producer-api,Apache Kafka,Kafka Producer Api,我们正在2节点集群中运行Kafka(vesion Kafka_2.11-0.10.1.0)。 我们有两个生产者(JavaAPI)处理不同的主题。每个主题都有一个分区。 我们讨论这个问题的主题有一个消费者在运行。 这个设置已经正常运行了3个月,我们看到了这个问题。其他论坛中针对这个问题提出的所有案例/解决方案似乎都不适用于我的场景 生产者的例外情况 -2017-11-25T17:40:33035[kafka producer网络线程| producer-1]错误client.producer.Bi
bootstrap.servers : server1ip:9092
acks :all
retries : 0
linger.ms :0
buffer.memory :10240000
max.request.size :1024000
key.serializer : org.apache.kafka.common.serialization.StringSerializer
value.serializer : org.apache.kafka.common.serialization.StringSerializer
我们正在连接生产商和消费者的服务器1。
server2上的控制器日志表明在sametime期间发生了一些关机,但我不明白为什么会发生这种情况
[2017-11-25 17:31:44776]调试[控制器2]:主题不在
首选副本映射()(卡夫卡控制器卡夫卡控制器)[2017-11-25
17:31:44776]跟踪[控制器2]:代理的前导不平衡比率
2是0.000000(卡夫卡控制器卡夫卡控制器)[2017-11-25
17:31:44776]调试[控制器2]:主题不在首选副本中
Map()(卡夫卡控制器卡夫卡控制器)[2017-11-25 17:31:44776]
跟踪[控制器2]:代理1的先导不平衡比率为0.000000
(卡夫卡控制器卡夫卡控制器)[2017-11-25 17:34:18314]信息
[SessionExpirationListener on 2],ZK已过期;关闭所有控制器
组件并尝试重新选择
(kafka.controller.kafka控制器$SessionExpirationListener)
[2017-11-25 17:34:18317]调试[控制器2]:控制器辞职,
经纪人id 2(卡夫卡控制器卡夫卡控制器)[2017-11-25
17:34:18317]调试[控制器2]:取消注册
IsrChangeNotificationListener(kafka.controller.kafka控制器)
[2017-11-25 17:34:18317]信息[delete-topics-thread-2],正在关闭
(卡夫卡控制器TopicDeletionManager$DeleteTopicsThread)[2017-11-25
17:34:18317]信息[delete-topics-thread-2],已停止
(卡夫卡控制器TopicDeletionManager$DeleteTopicsThread)[2017-11-25
17:34:18318]信息[delete-topics-thread-2],关闭完成
(卡夫卡控制器TopicDeletionManager$DeleteTopicsThread)[2017-11-25
17:34:18318]信息[控制器2上的分区状态机]:已停止
分区状态机(kafka.controller.PartitionStateMachine)
[2017-11-25 17:34:18318]信息[控制器上的副本状态机
2] :已停止复制副本状态机
(卡夫卡控制器复制状态机)[2017-11-25 17:34:18318]信息
[Controller-2-to-broker-2-send-thread],正在关闭
(卡夫卡控制器请求发送线程)[2017-11-25 17:34:18318]信息
[Controller-2-to-broker-2-send-thread],已停止
(卡夫卡控制器请求发送线程)[2017-11-25 17:34:18319]信息
[Controller-2-to-broker-2-send-thread],关闭完成
(卡夫卡控制器请求发送线程)[2017-11-25 17:34:18319]信息
[Controller-2-to-broker-1-send-thread],正在关闭
(卡夫卡控制器请求发送线程)[2017-11-25 17:34:18319]信息
[Controller-2-to-broker-1-send-thread],已停止
(卡夫卡控制器请求发送线程)[2017-11-25 17:34:18319]信息
[Controller-2-to-broker-1-send-thread],关闭完成
(卡夫卡控制器请求发送线程)[2017-11-25 17:34:18319]信息
[控制器2]:经纪人2辞去控制器职务
(卡夫卡控制器卡夫卡控制器)调试
[IsrChangeNotificationListener]已被解雇!!!
(卡夫卡控制器IsrChangeNotificationListener)[2017-11-25
17:34:18353]调试[IsrChangeNotificationListener]已启动!!!
(卡夫卡控制器IsrChangeNotificationListener)[2017-11-25
17:34:18354]信息[经纪人控制器2上的经纪人]:经纪人
为带有子项1,2的路径/代理/ID激活更改侦听器
(kafka.controller.ReplicateStateMachine$BrokerChangeListener)
[2017-11-25 17:34:18355]调试[DeleteTopicsListener on 2]:删除
为要删除的主题激发了主题侦听器
(kafka.controller.PartitionStateMachine$DeleteTopicsListener)
[2017-11-25 17:34:18362]信息[AddPartitionsListener on 2]:分区
修改触发了路径的{“版本”:1,“分区”:{“0”:[1]}
/经纪人/主题/ESQ
(kafka.controller.PartitionStateMachine$PartitionModificationsListener)
[2017-11-25 17:34:18368]信息[AddPartitionsListener on 2]:分区
修改触发了路径的{“版本”:1,“分区”:{“0”:[1]}
/经纪人/主题/测试1
(kafka.controller.PartitionStateMachine$PartitionModificationsListener)
[2017-11-25 17:34:18369]信息[AddPartitionsListener on 2]:分区
修改触发了路径的{“版本”:1,“分区”:{“0”:[2]}
/经纪人/主题/ImageQ
(kafka.controller.PartitionStateMachine$PartitionModificationsListener)
[2017-11-25 17:34:18374]信息[AddPartitionsListener on 2]:分区
修改触发
{“版本”:1,“分区”:{“8”:[1,2],“4”:[1,2],“9”:[2,1],“5”:[2,1],“6”:[1,2],“1”:[2,1],“0”:[1,2],“2”:[1,2],“7”:[2,1],“3”:[2,1]}
对于路径/代理/主题/NMS\u NotifyQ
(kafka.controller.PartitionStateMachine$PartitionModificationsListener)
[2017-11-25 17:34:18375]信息[AddPartitionsListener on 2]:分区
修改触发了路径的{“版本”:1,“分区”:{“0”:[1]}
/经纪人/主题/TempBinLogReqQ@