Apache kafka kafka producer在写入更多分区时需要花费更多的时间

Apache kafka kafka producer在写入更多分区时需要花费更多的时间,apache-kafka,kafka-producer-api,Apache Kafka,Kafka Producer Api,我们有5个卡夫卡代理、复制因子3和2个主题—T1和T2 T1主题有100个分区,T2有6个分区 使用kafka制作者(使用KafkaProducer.send())向T1和T2写入时,制作者.send()所需的时间约为1秒 但是将T2中的分区数从6增加到100后,send()的总时间增加到20秒 知道为什么吗?您是否使用密钥向所有100个分区发送消息?或者它们都是在前面的6个分区中结束的,还是在新引入的几个分区中结束的?不清楚您是否正在发送密钥。消息是以循环方式发送到T1和T2的所有100个分区

我们有5个卡夫卡代理、复制因子3和2个主题—T1和T2

T1主题有100个分区,T2有6个分区

使用kafka制作者(使用KafkaProducer.send())向T1和T2写入时,制作者.send()所需的时间约为1秒

但是将T2中的分区数从6增加到100后,send()的总时间增加到20秒


知道为什么吗?

您是否使用密钥向所有100个分区发送消息?或者它们都是在前面的6个分区中结束的,还是在新引入的几个分区中结束的?不清楚您是否正在发送密钥。消息是以循环方式发送到T1和T2的所有100个分区的。密钥为空。也许问题是与卡夫卡的联系太多了?虽然这听起来很奇怪,因为在我们发送到106个分区之前和发送到200个分区之后。生成200个分区听起来并不多