Amazon s3 如何使用其字段和基于时间的分区为json配置kafka s3接收器连接器?
我有一个json,如下所示:Amazon s3 如何使用其字段和基于时间的分区为json配置kafka s3接收器连接器?,amazon-s3,apache-kafka,apache-kafka-connect,confluent-platform,Amazon S3,Apache Kafka,Apache Kafka Connect,Confluent Platform,我有一个json,如下所示: { "app" : "hw", "content" : "hello world", "time" : "2018-05-06 12:53:04" } 我希望以以下文件格式推送到S3: /上层目录/$jsonfield1/$jsonfield2/$date/$HH 我知道我可以做到: /上层目录/$date/$HH 使用TimeBasedPartitioner和Topic.dir,但是如何将2个json字段也放进去呢 您需要编写自己的分区器
{
"app" : "hw",
"content" : "hello world",
"time" : "2018-05-06 12:53:04"
}
我希望以以下文件格式推送到S3:
/上层目录/$jsonfield1/$jsonfield2/$date/$HH
我知道我可以做到:
/上层目录/$date/$HH
使用TimeBasedPartitioner和Topic.dir,但是如何将2个json字段也放进去呢 您需要编写自己的分区器,以实现基于时间和字段的分区器的组合 这意味着创建一个新的Java项目,从该项目中构建一个JAR,然后将JAR复制到运行kafka connect的所有服务器上的
kafka connect存储公共,这由S3连接器获取。复制JAR后,需要重新启动连接进程
注意:已经有一个PR正在尝试添加此-