Apache kafka 如何将部分主题数据从一个集群复制到另一个集群

我有一个用例，需要将数据从一个主题复制到不同集群中的另一个主题，但只需要从给定的偏移量进行复制。对于上述用例，我可以使用什么

我已经研究过mirror maker，因为它将数据从一个集群复制到另一个集群，但如何提及偏移部分，我不明白。

---

有什么实用程序我可以使用吗？

如果你说“这将是一次操作”，你可以使用这个-o选项

例如（最简单的情况）：

kafkacat-C-b mybrocker_cluster_1:9092-t mytopic1-o|\
kafkacat-P-b mybrocker_cluster_2:9092-t mytopic1

您可能仍然需要向使用者添加一些参数：

-X message.max.bytes=<value> -X fetch.message.max.bytes=<value> -X receive.message.max.bytes=<value>

-X message.max.bytes=-X fetch.message.max.bytes=-X receive.message.max.bytes=

如果您说“这将是一次性操作”，您可以使用此-o选项

例如（最简单的情况）：

kafkacat-C-b mybrocker_cluster_1:9092-t mytopic1-o|\
kafkacat-P-b mybrocker_cluster_2:9092-t mytopic1

您可能仍然需要向使用者添加一些参数：

-X message.max.bytes=<value> -X fetch.message.max.bytes=<value> -X receive.message.max.bytes=<value>

-X message.max.bytes=-X fetch.message.max.bytes=-X receive.message.max.bytes=

不要复制主题中的部分数据。我建议您使用mirror maker并将您的主题完整复制。另外，用户不应该使用偏移量。您可以在这里扩展您的用例吗？这是一次性操作，还是希望将其构建为可重复的过程？要从中复制数据的偏移量的意义是什么？这将是一次操作。我们将关闭当前的代理版本，以滚动方式升级到新版本。在这个过程中，当前用户从旧代理读取的数据可能还有一些需要读取的数据，我们希望将这些数据复制到新代理主题，以便用户可以恢复从新代理主题读取的数据，而不会丢失任何数据。不要从主题复制部分数据。我建议您使用mirror maker并将您的主题完整复制。另外，用户不应该使用偏移量。您可以在这里扩展您的用例吗？这是一次性操作，还是希望将其构建为可重复的过程？要从中复制数据的偏移量的意义是什么？这将是一次操作。我们将关闭当前的代理版本，以滚动方式升级到新版本。在这一过程中，可能存在这样一种可能性，即当前用户从旧代理读取的数据还有一些要读取的数据，我们希望将这些数据复制到新代理主题，以便用户可以恢复从新代理主题读取的数据，而不会丢失任何数据。