Apache kafka 有没有办法将Amazon MSK主题直接转储到S3？

我计划使用Amazon MSK，我想将消费者日志转储到S3。但我看不到任何选择。我是否需要编写自己的消费者，或者是否有办法将Amazon MSK消费者输出直接使用到s3？

没有直接的方法从MSK执行此操作。您可以使用外部消费者来完成，或者最好在与MSK相同的VPC内的EC2中使用

---

无论哪种方式，都需要考虑高可用性和数据传输成本。对于HA，使用不同AZ中的消费者。为了节省成本，请使用允许使用者从最近的副本获取数据的方法。

Kafka Connect通常是在Kafka和系统（如S3）之间获取数据的最佳（最简单/可扩展/便携式/弹性）方法。了解更多关于和的信息

由于MSK不提供Kafka Connect，您可以选择运行自己的Kafka Connect worker（连接到MSK）并使用（）

值得注意的是，其他云提供商提供的完整解决方案不仅包括托管Apache Kafka，还包括托管Kafka Connect，如图所示

---

免责声明：我为Confluent工作：-）