Apache kafka 使用Kafka Connect与外部Kafka集成

我们希望使用卡夫卡连接将我们的系统与外部卡夫卡集成。 我们已经有了一个经过测试的连接器

由于卡夫卡是外部的，我们有以下期望/限制：

我们无法安装、配置或更新Kafka

我们无法安装、配置或更新Kafka Connect（例如，如果我们想使用 卡夫卡的内部版本）

我们不管理Kafka Connect等的主题/用户ACL

一些问题：

与Kafka集成时，外部Kafka Connect需要哪些权限（ACL、自动生成的主题等）

使用外部卡夫卡连接是否是良好的做法？我试图在谷歌上找到信息，但我找不到

也许在我的情况下，不建议使用卡夫卡连接

---

每个Kafka Connect集群都需要一个状态、配置和偏移主题。理想情况下，手动创建这些文件以确保复制和分区足够

然后，很明显，访问您正在挖掘/寻找的主题

使用外部卡夫卡连接是否良好

对。最佳实践建议不要在代理上运行该流程，并像对待其他客户机一样对待Kafka Connect

也许在我的情况下，不建议使用卡夫卡连接

---

最终，这取决于您的用例。例如，Apache Nifi、Streamset等工具在连接方面具有更大的灵活性

也许最好使用MirrorMaker 2.0将数据从外部集群复制到您自己的集群（您可以管理），然后使用Kafka Connect与您的系统集成