Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon s3 如何使用其字段和基于时间的分区为json配置kafka s3接收器连接器?_Amazon S3_Apache Kafka_Apache Kafka Connect_Confluent Platform - Fatal编程技术网

Amazon s3 如何使用其字段和基于时间的分区为json配置kafka s3接收器连接器?

Amazon s3 如何使用其字段和基于时间的分区为json配置kafka s3接收器连接器?,amazon-s3,apache-kafka,apache-kafka-connect,confluent-platform,Amazon S3,Apache Kafka,Apache Kafka Connect,Confluent Platform,我有一个json,如下所示: { "app" : "hw", "content" : "hello world", "time" : "2018-05-06 12:53:04" } 我希望以以下文件格式推送到S3: /上层目录/$jsonfield1/$jsonfield2/$date/$HH 我知道我可以做到: /上层目录/$date/$HH 使用TimeBasedPartitioner和Topic.dir,但是如何将2个json字段也放进去呢 您需要编写自己的分区器

我有一个json,如下所示:

{
    "app" : "hw",
    "content" : "hello world",
    "time" : "2018-05-06 12:53:04"
}
我希望以以下文件格式推送到S3:

/上层目录/$jsonfield1/$jsonfield2/$date/$HH

我知道我可以做到:

/上层目录/$date/$HH


使用TimeBasedPartitioner和Topic.dir,但是如何将2个json字段也放进去呢

您需要编写自己的分区器,以实现基于时间和字段的分区器的组合

这意味着创建一个新的Java项目,从该项目中构建一个JAR,然后将JAR复制到运行kafka connect的所有服务器上的
kafka connect存储公共
,这由S3连接器获取。复制JAR后,需要重新启动连接进程

注意:已经有一个PR正在尝试添加此-