Apache kafka 卡夫卡连接亚马逊MSK

如何在Amazon MSK中使用Kafka Connect适配器？

---

根据AWS文档，它支持Kafka connect，但没有关于如何设置和使用适配器的文档。

AFAIK Amazon MSK不提供托管连接器，因此您必须自己运行它们。这是通过运行Kafka Connect worker进程（JVM），然后为其提供一个或多个要运行的连接器配置来实现的

从Kafka Connect worker的角度来看，它只需要连接一个Kafka集群；无论是MSK还是本地，这都不重要，因为它最终“只是”一个消费者/生产者

您可以在此处看到更多内容，包括现场演示：

有关配置Kafka Connect以使用云托管Kafka平台（在本例中为融合云）的示例，请参阅

---

如果您对云中的托管连接器感兴趣，请参阅Confluent Cloud中提供的

---

免责声明：我为Confluent工作：）

这有两个方面

Kafka Connect是一个应与Kafka代理分开部署的框架。MSK仅提供卡夫卡代理。如果您想将Kafka Connect与MSK结合使用，则需要使用EC2实例并部署Kafka二进制文件

如果您没有合流订阅或类似订阅，请访问连接器-我担心您的选择会非常有限。但话说回来，您始终可以编写自己的连接器。编写新的连接器并不是那么困难，相反，您可以应用特定于业务的逻辑，并且可以非常快速地开始工作