Amazon s3 使用kafka连接器将kafka主题数据作为csv写入s3 bucket

我正在使用Kafka连接器将Kafka主题数据以csv的形式写入s3 bucket。我正在使用下面的curl命令

curl -X POST \
   localhost:8084/connectors \
  -H 'Content-Type: application/json' \
  -H 'Accept: application/json' \
  -d '{
  "name": "S3SinkConnector",
  "config": {
   "connector.class": "io.confluent.connect.s3.S3SinkConnector",
  "s3.region": "",
  "flush.size": "1000",
  "topics": "mytopic.value",
  "tasks.max": "1",
  "aws.secret.access.key": "",
  "format.class": "io.confluent.connect.s3.format.json.JsonFormat",
  "aws.access.key.id": "",
  "value.converter": "org.apache.kafka.connect.json.JsonConverter",
  "value.converter.schemas.enable": "false",
  "storage.class": "io.confluent.connect.s3.storage.S3Storage",
  "s3.bucket.name": "",
  "key.converter": "org.apache.kafka.connect.storage.StringConverter",
  "key.converter.schemas.enable": "false"
  }
}'

---

在kafka连接器日志中未看到错误日志。但我看不到写入s3存储桶的主题数据。有人能告诉我出了什么问题吗？

您检查了/状态端点了吗？主题中是否有数据？您的

格式.class

未设置为作为CSV写入，anyway@OneCricketeer主题中有数据，s3 bucket可用。即使使用format.class，它也不会写入s3 bucketSure，

/status

连接器端点也不会说它

失败了

？总的来说，我的观点是JSON记录中的CSV是不可能的，所以我认为您应该将format类更改为纯文本类