Amazon s3 有没有一种方法可以定义一个函数来根据kafka connect中的主题消息确定S3路径
这个问题与卡夫卡到S3有关 要求:我们感兴趣的卡夫卡主题之一有一些特定的信息,即时间戳、表格等。我们可以使用这些数据来决定它将进入哪个S3路径,即Amazon s3 有没有一种方法可以定义一个函数来根据kafka connect中的主题消息确定S3路径,amazon-s3,apache-kafka,apache-kafka-connect,confluent-platform,Amazon S3,Apache Kafka,Apache Kafka Connect,Confluent Platform,这个问题与卡夫卡到S3有关 要求:我们感兴趣的卡夫卡主题之一有一些特定的信息,即时间戳、表格等。我们可以使用这些数据来决定它将进入哪个S3路径,即s3bucketName/timestamp/table/… 问题:我们正在考虑使用卡夫卡连接,因为没有理由重新发明轮子。但是,我找不到一种方法可以在kafka connect(后面是链接)中插入一个类函数来进行映射(从主题数据到S3路径)。我想知道kafka connect是否提供此功能,如果没有,以前是否有其他人这样做过?TimestampPart
s3bucketName/timestamp/table/…
问题:我们正在考虑使用卡夫卡连接,因为没有理由重新发明轮子。但是,我找不到一种方法可以在kafka connect(后面是链接)中插入一个
类函数来进行映射(从主题数据到S3路径)。我想知道kafka connect是否提供此功能,如果没有,以前是否有其他人这样做过?TimestampPartitioner默认行为将写入
s3bucketName/s3Prefix/topicName/timestamp/files.avro
如果这不令人满意,Kafka Connect完全是“插件”驱动的,您可以自己编写。例如,没有将时间戳和某个字段放在数据中的分区器—您需要单独编写它