Apache kafka 卡夫卡+;此服务器不是该主题分区+;卡夫卡制作人

Apache kafka 卡夫卡+;此服务器不是该主题分区+;卡夫卡制作人,apache-kafka,kafka-producer-api,hdp,Apache Kafka,Kafka Producer Api,Hdp,我们从server.log中的每台3kafka机器(我们在集群中有3kafka)中得到许多错误 据我所知,每个话题都由一个或多个经纪人服务——一个是领导者,其余经纪人是追随者 生产者需要向领导者代理发送新消息,领导者代理在内部将数据复制到所有追随者 我假设您的producer客户端没有连接到正确的代理,它连接到的是一个跟随者而不是领导者,而这个跟随者拒绝了您的发送请求 因此,我的问题是-如何配置生产者配置以避免此类错误?追随者代理从领导者代理获取(领导者没有推送追随者)。因此,似乎追随者经纪人试

我们从
server.log
中的每台
3
kafka机器(我们在集群中有
3
kafka)中得到许多错误

据我所知,每个话题都由一个或多个经纪人服务——一个是领导者,其余经纪人是追随者

生产者需要向领导者代理发送新消息,领导者代理在内部将数据复制到所有追随者

我假设您的producer客户端没有连接到正确的代理,它连接到的是一个跟随者而不是领导者,而这个跟随者拒绝了您的发送请求


因此,我的问题是-如何配置生产者配置以避免此类错误?

追随者代理从领导者代理获取(领导者没有推送追随者)。因此,似乎追随者经纪人试图从错误的(领导者)经纪人那里获取信息。如果分区的前导发生更改,则可能发生这种情况。相应的跟随者代理应该自动更新其集群元数据以重新发现新的引导者。如果错误仍然存在,则表示此跟随者代理在更新其元数据时遇到问题。

通常会自动处理与引导者的连接。你的经纪人健康吗?您列出的主题的复制是否存在任何问题?我认为我的kafka群集没有问题,我看不出复制有问题,但我需要更多的验证步骤来测试您编写的所有内容。如果可能,请发布您的建议使用
kafka topics.sh
来描述您的主题。我已经做过了,而且所有代理都是平衡的——如果这是您的问题,因为zookeepers服务器上的元数据。你是说我们需要检查动物园管理员吗,到目前为止,我们还没有看到zookeeper服务器上的问题,请提供更多详细信息,如何检查zoo服务器上的元数据?因此,请您给我一些指导,我们在这里迷路了
[2019-12-05 13:25:09,529] ERROR [ReplicaFetcherThread-0-1], Error for partition [jdty.dee.rules.time,91] to broker 1001:org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)
[2019-12-05 13:25:09,529] ERROR [ReplicaFetcherThread-0-1], Error for partition [jdty.dee.export.profiles,96] to broker 1001:org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)
[2019-12-05 13:25:09,529] ERROR [ReplicaFetcherThread-0-1], Error for partition [jdty.dee.control.tt.state,40] to broker 1001:org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)
[2019-12-05 13:25:09,529] ERROR [ReplicaFetcherThread-0-1], Error for partition [jdty.dee.control.tt,67] to broker 1001:org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition. (kafka.server.ReplicaFetcherThread)