Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/ios/107.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka apachekafka:消费者组复制_Apache Kafka - Fatal编程技术网

Apache kafka apachekafka:消费者组复制

Apache kafka apachekafka:消费者组复制,apache-kafka,Apache Kafka,我想知道是否有一种快速复制卡夫卡消费群体的方法。 假设有一个消费群体:test\u cosnumer\u group\u a,我想要另一个具有相同属性(主题、偏移量等)的消费群体test\u consumer\u group\u b 有没有一种简单的方法可以实现这一点?您可以使用它将特定消费群体的元数据复制到新的消费群体中。据报道, 消费者组可以使用 复制组子命令 $kafka consumer manager--群集类型=测试副本\组我的\组1我的\组2 如果使用,您将拥有kafka消费者组,

我想知道是否有一种快速复制卡夫卡消费群体的方法。 假设有一个消费群体:
test\u cosnumer\u group\u a
,我想要另一个具有相同属性(主题、偏移量等)的消费群体
test\u consumer\u group\u b

有没有一种简单的方法可以实现这一点?

您可以使用它将特定消费群体的元数据复制到新的消费群体中。据报道,

消费者组可以使用
复制组
子命令

$kafka consumer manager--群集类型=测试副本\组我的\组1我的\组2

如果使用,您将拥有
kafka消费者组
,而不是
kafka消费者管理器

您可以将偏移从用户组导出到csv文件,然后将其恢复到另一个用户组:

bin/kafka-consumer-groups \
  --bootstrap-server $KAFKA \
  --export --group $FROM_GROUP_NAME --topic $TOPIC \
  --reset-offsets --to-current \
  --dry-run > offsets.txt

bin/kafka-consumer-groups \
  --bootstrap-server $KAFKA \
  --execute --group $TO_GROUP_NAME \
  --reset-offsets --from-file offsets.txt

归功于另一个SO问题:

我认为您需要提供更多关于如何运行消费者以及如何初始化KafkanConsumer对象的信息。你问的是卡夫卡的一个基本概念。您只需使用唯一的group.id值启动您的消费者,然后阅读相同的主题。补偿将在两个消费群体之间独立管理。