Apache kafka apachekafka:消费者组复制
我想知道是否有一种快速复制卡夫卡消费群体的方法。 假设有一个消费群体:Apache kafka apachekafka:消费者组复制,apache-kafka,Apache Kafka,我想知道是否有一种快速复制卡夫卡消费群体的方法。 假设有一个消费群体:test\u cosnumer\u group\u a,我想要另一个具有相同属性(主题、偏移量等)的消费群体test\u consumer\u group\u b 有没有一种简单的方法可以实现这一点?您可以使用它将特定消费群体的元数据复制到新的消费群体中。据报道, 消费者组可以使用 复制组子命令 $kafka consumer manager--群集类型=测试副本\组我的\组1我的\组2 如果使用,您将拥有kafka消费者组,
test\u cosnumer\u group\u a
,我想要另一个具有相同属性(主题、偏移量等)的消费群体test\u consumer\u group\u b
有没有一种简单的方法可以实现这一点?您可以使用它将特定消费群体的元数据复制到新的消费群体中。据报道,
消费者组可以使用
复制组
子命令
$kafka consumer manager--群集类型=测试副本\组我的\组1我的\组2
如果使用,您将拥有kafka消费者组
,而不是kafka消费者管理器
您可以将偏移从用户组导出到csv文件,然后将其恢复到另一个用户组:
bin/kafka-consumer-groups \
--bootstrap-server $KAFKA \
--export --group $FROM_GROUP_NAME --topic $TOPIC \
--reset-offsets --to-current \
--dry-run > offsets.txt
bin/kafka-consumer-groups \
--bootstrap-server $KAFKA \
--execute --group $TO_GROUP_NAME \
--reset-offsets --from-file offsets.txt
归功于另一个SO问题:我认为您需要提供更多关于如何运行消费者以及如何初始化KafkanConsumer对象的信息。你问的是卡夫卡的一个基本概念。您只需使用唯一的group.id值启动您的消费者,然后阅读相同的主题。补偿将在两个消费群体之间独立管理。