Amazon web services Kafka Connect S3动态S3文件夹结构创建？

我使用独立的方法，而不是通过Confluent的过程或作为整个平台的一部分

我可以使用以下命令从命令行成功启动连接器：

./kafka_2.11-2.1.0/bin/connect-standalone.sh connect.properties s3-sink.properties

可以看到主题CDC从的偏移量正在被消耗。不会抛出任何错误。但是，在AWS S3中，没有为新数据创建文件夹结构，也没有存储JSON数据

问题

连接器是否应在创建文件夹时动态创建文件夹结构 查看主题的第一个JSON数据包

除了配置 awscli凭据、connect.properties和s3-sink.properties为 需要设置任何其他设置才能正确连接到 S3桶

关于安装文档的建议更多 比合流网站上的独立文档更全面？（以上链接）

connect.properties

bootstrap.servers=redacted:9092，redacted:9092，redacted:9092

plugin.path=/plugins/kafka-connect-s3 key.converter=org.apache.kafka.connect.json.JsonConverter value.converter=org.apache.kafka.connect.json.JsonConverter key.converter.schemas.enable=false value.converter.schemas.enable=false internal.key.converter=org.apache.kafka.connect.json.JsonConverter internal.value.converter=org.apache.kafka.connect.json.JsonConverter internal.key.converter.schemas.enable=false 内部.value.converter.schemas.enable=false offset.storage.file.filename=/tmp/connect.offset

s3接收器属性

名称=s3接收器连接器。类=io.confluent.connect.s3.s3接收器连接器 tasks.max=1 主题=数据库\模式\主题1、数据库\模式\主题2、数据库\模式\主题3 s3.region=us-east-2 s3.bucket.name=databasekafka s3.part.size=5242880 flush.size=1存储。class=io.confluent.connect.s3.storage.s3存储 format.class=io.confluent.connect.s3.format.json.JsonFormat schema.generator.class=io.confluent.connect.storage.hive.schema.DefaultSchemaGenerator partitioner.class=io.confluent.connect.storage.partitioner.DefaultPartitioner schema.compatibility=NONE

---

连接器是否应该在看到主题的第一个JSON数据包时动态创建文件夹结构？ 是的，即使您使用参数“topics.dir”和“path.format”控制此路径（目录结构）

除了配置awscli凭据、connect.properties和s3-sink.properties之外，是否还需要设置其他设置才能正确连接到s3存储桶？ 默认情况下，S3连接器将通过环境变量或凭据文件使用Aws凭据（访问id和密钥）。 您可以通过修改参数“s3.credentials.provider.class”进行更改。参数的默认值为“DefaultAWSCredentialsProviderChain”

关于安装文档的建议是否比Confluent网站上的独立文档更全面？（以上链接） 我建议您使用分布式模式，因为它为您的connect群集及其上运行的连接器提供了高可用性。 您可以阅读以下文档，以在分布式模式下配置connect cluster。

---

我可以在中找到topics.dir、path.format和S3.credentials.provider.class哪些文件？您必须在S3-sink.properties文件中传递这些属性。