Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon s3 有没有一种方法可以定义一个函数来根据kafka connect中的主题消息确定S3路径_Amazon S3_Apache Kafka_Apache Kafka Connect_Confluent Platform - Fatal编程技术网

Amazon s3 有没有一种方法可以定义一个函数来根据kafka connect中的主题消息确定S3路径

Amazon s3 有没有一种方法可以定义一个函数来根据kafka connect中的主题消息确定S3路径,amazon-s3,apache-kafka,apache-kafka-connect,confluent-platform,Amazon S3,Apache Kafka,Apache Kafka Connect,Confluent Platform,这个问题与卡夫卡到S3有关 要求:我们感兴趣的卡夫卡主题之一有一些特定的信息,即时间戳、表格等。我们可以使用这些数据来决定它将进入哪个S3路径,即s3bucketName/timestamp/table/… 问题:我们正在考虑使用卡夫卡连接,因为没有理由重新发明轮子。但是,我找不到一种方法可以在kafka connect(后面是链接)中插入一个类函数来进行映射(从主题数据到S3路径)。我想知道kafka connect是否提供此功能,如果没有,以前是否有其他人这样做过?TimestampPart

这个问题与卡夫卡到S3有关

要求:我们感兴趣的卡夫卡主题之一有一些特定的信息,即时间戳、表格等。我们可以使用这些数据来决定它将进入哪个S3路径,即
s3bucketName/timestamp/table/…


问题:我们正在考虑使用卡夫卡连接,因为没有理由重新发明轮子。但是,我找不到一种方法可以在kafka connect(后面是链接)中插入一个
类函数来进行映射(从主题数据到S3路径)。我想知道kafka connect是否提供此功能,如果没有,以前是否有其他人这样做过?

TimestampPartitioner默认行为将写入

s3bucketName/s3Prefix/topicName/timestamp/files.avro
如果这不令人满意,Kafka Connect完全是“插件”驱动的,您可以自己编写。例如,没有将时间戳和某个字段放在数据中的分区器—您需要单独编写它