Apache kafka Kafka mirror maker将所有没有分区键的消息随机放在目标集群中

Apache kafka Kafka mirror maker将所有没有分区键的消息随机放在目标集群中,apache-kafka,kafka-consumer-api,kafka-producer-api,Apache Kafka,Kafka Consumer Api,Kafka Producer Api,我们正在使用Kafka mirror maker将主题从0.8.2.1集群镜像到0.10.2.0集群。但是,对于某些主题,我们依赖于循环分区分配(没有显式分区键) 我知道mirror maker保留密钥并维护从源到目标的分区,但我看到一些奇怪的事情发生了: 源群集偏移: event_edi:0:28731 event_edi:1:28775 event_edi:2:28643 event_edi:2:169 event_edi:1:88 event_edi:0:85596 目标群集偏移: e

我们正在使用Kafka mirror maker将主题从0.8.2.1集群镜像到0.10.2.0集群。但是,对于某些主题,我们依赖于循环分区分配(没有显式分区键)

我知道mirror maker保留密钥并维护从源到目标的分区,但我看到一些奇怪的事情发生了:

源群集偏移:

event_edi:0:28731
event_edi:1:28775
event_edi:2:28643
event_edi:2:169
event_edi:1:88
event_edi:0:85596
目标群集偏移:

event_edi:0:28731
event_edi:1:28775
event_edi:2:28643
event_edi:2:169
event_edi:1:88
event_edi:0:85596
大多数消息都没有任何密钥。看起来很奇怪,它们都被分组在一起,并被丢弃在同一个分区中,而不是循环

对于mirror maker,我有一个SyncProducer正在运行,其余配置都是默认配置

如果有人能帮助我理解如何避免这种情况/或者如果我完全错了,我将不胜感激!
蒂亚

如果您没有使用密钥显式地对日志进行分区,它会这样做。我们的消息没有任何分区键,因此落在同一分区中

从那以后,您有没有得到任何帮助、提示和解决方案?或者您发现了根本问题了吗?我认为如果您没有使用密钥显式地对日志进行分区,它就会这样做。我们的消息没有任何分区键。