Apache kafka 用于Azure Blob存储的Kafka连接器

我需要将推送到卡夫卡的信息存储在一个深存储器中。我们正在使用Azure云服务，所以我认为Azure Blob存储可能是一个更好的选择。我想使用Kafka Connect的接收器连接器API将数据推送到Azure Blob。Kafka文档主要建议HDFS导出数据，但是，在这种情况下，我需要一个运行Hadoop的Linux虚拟机，我想这会很昂贵。我的问题是Azure Blob存储是存储JSON对象的合适选择，而构建自定义接收器连接器是解决这种情况的合理解决方案？

自定义接收器连接器肯定有效。卡夫卡连接是绝对设计的，所以你可以插入连接器。事实上，连接器开发是完全联合的。Confluent的JDBC和HDFS连接器首先实现是因为这两个用例的流行，但还有更多（我们保留了我们知道的连接器列表）

---

关于Azure Bulb存储是否合适，你提到JSON对象。我想你唯一要考虑的是对象的大小，以及Azure存储是否能很好地处理对象的大小和数量。我不确定Azure存储的特性，但是在许多其他对象存储系统中，你可能需要聚合。将多个对象合并到单个blob中，以获得大量对象的良好性能（即，您可能需要支持多个JSON对象的文件格式）.

如果现在有人碰到这个问题，你应该知道现在有一个

关于自定义接收器，我认为没关系。目前，Azure Blob存储没有官方接收器。如果你想要另一个解决方案，你可以尝试使用Apache Flume（Kafka源和Azure接收器），请参阅此链接以获取参考：您可以在没有许可证密钥的情况下使用此连接器30天试用期。30天后，此连接器将在Confluent enterprise许可证下可用。