Amazon s3 S3连接器与Kafka连接，用于将数据从本地传输到云

我想使用Kafka将本地数据流传输到云（S3）。为此，我需要在源计算机和云上插入kafka。但我不想把它全部放在云端。我需要一些S3连接器，通过它我可以连接kafka并将数据从本地传输到云

如果您的数据是Avro或Json格式（或可以转换为这些格式），则可以使用S3连接器进行Kafka Connect。看

---

如果您想通过Kafka移动实际（较大）的文件，请注意Kafka是为小邮件而设计的，而不是为文件传输而设计的。

有一个项目由来自Spreadfast的接收器和源连接器组成，它可以处理文本格式。不幸的是，它没有真正更新，但仍然有效

我想要日志文件，这些文件不在Avro或Jason中。除了Confluent，你能推荐一些其他连接器吗。提前谢谢！！您可以试试@NamanAgarwal上列出的日志文件，您可以直接将原始日志文件行发送到Kafka。然后在kafka-connect-s3中使用JSON或Avro转换器将在s3上默认输出

{“line”：“message”}

记录。换句话说，目标可以采用与源不同的格式。另外，对于日志分析，Avro将更加压缩。