Amazon s3 将卡夫卡中的Avro直接转换为拼花地板，转换为S3

我有卡夫卡的主题，它们以Avro格式存储。我想使用整个主题（在收到时不会更改任何消息），并将其转换为拼花地板，直接保存在S3上

我目前正在这样做，但这需要我一次一个地使用来自Kafka的消息，并在本地机器上进行处理，将它们转换为拼花文件，一旦整个主题被使用并且拼花文件被完全写入，关闭写入过程，然后启动S3多部分文件上载。或者

|卡夫卡中的Avro->本地转换为拼花地板->将文件复制到S3

我想做的是

|卡夫卡中的Avro->S3中的拼花地板

需要注意的一点是，卡夫卡主题名称不是静态的，需要在参数中输入，使用一次，然后再也不使用

---

我研究过阿尔帕卡，似乎这是可能的——但不清楚，我没有看到任何例子。有什么建议吗？

您刚才描述了卡夫卡连接：）

Kafka Connect是ApacheKafka的一部分，并具有。虽然，目前拼花地板支架的发展还不成熟

---

有关《卡夫卡连接》的入门，请参见《Sup Mike/John/Craig和其他任何人》的可能副本！