Apache kafka 卡夫卡接收器至数据湖存储，无汇流

我试图找到开源卡夫卡直接写入Azure Data Lake存储Gen2的选项。我似乎没有什么选择，主要围绕汇合区转，如下所示：

将Confluent Cloud与Apache Kafka一起使用-需要使用Confluent进行订阅并支付费用(

将Azure VM与Confluent Hub一起使用并安装Confluent平台

目前，我不打算支付Confluent许可，也不想使用Confluent软件包进行测试（周围的包装和环越来越多）

---

有没有选择直接使用开源Kafka将数据写入ADLS Gen2？如果有，我们如何实现这一点？有什么有用的信息可以共享？

首先，Kafka Connect是Apache2许可产品，是一个由插件组成的开放平台；使用它不需要合流平台/云。请安装它

但是，Confluent（或任何开发商）可自行决定是否提供付费服务

这就是说，您不“需要”Confluent平台，而且如果您这样做了，使用它也没有什么“障碍”，因为它只向ApacheKafka+Zookeeper添加了额外的内容，这不是它自己的事情（您可以将现有的Kafka安装与其他Confluent产品一起使用）

---

关于其他开源内容。StackOverflow不是推荐软件或寻找工具/库的地方。您可以使用Spark/Flink/Nifi，不过，我肯定会重新实现类似于Kafka Connect的管道，或者您可以基于开源项目编写自己的Kafka连接器，该项目用作S3、GCS和Azure的基础，AFAIK.

有一个Apache Camel连接器，它有一个Azure Datalake连接器用于发送和接收数据。（接收器和源）请查看以下内容：

---

这是一个免费的解决方案，不需要使用Confluent许可证或技术。

这很好地澄清了问题。谢谢你，但看起来zip也是由confluence提供的，混淆之处在于，因此我假设它只是开放给没有许可证的任何人使用。另外，我正在寻找此连接器的使用方法，以及如何从原始Kafka群集setup透视图。是否有任何指针？1）Confluence是Atlassian产品，与卡夫卡无关2）ZIP包含编译代码。在运行时，代码确实会执行许可证检查，尽管您获得了使用它的评估期，但根据回答的合流许可证链接3），将代码放入Kafka Connect属性文件中提到的

plugin.path

文件夹中，然后启动服务器，该插件将可用。我会试试看。因此，据我所知，没有许可（通过confluence或confluence-like）让Kafka开源无许可直接连接器连接ADLS对象存储？如果这是唯一的选择，您是否有此zip包的使用详细信息和相应的文档可供使用？同样，Confluence是一款与Kafka无关的wiki软件。您已经得到了关于Apache Camel的另一个答案，您还需要在

plugin.path

中进行设置，这是一个很好的信息，谢谢您，仅供参考--您不需要许可证就可以使用Camel Kafka连接器直接连接。