Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/sorting/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 为什么GCS连接器在GCS中创建Kafka分区目录,但不写入Kafka主题数据_Apache Kafka_Google Cloud Storage_Apache Kafka Connect_Confluent Platform - Fatal编程技术网

Apache kafka 为什么GCS连接器在GCS中创建Kafka分区目录,但不写入Kafka主题数据

Apache kafka 为什么GCS连接器在GCS中创建Kafka分区目录,但不写入Kafka主题数据,apache-kafka,google-cloud-storage,apache-kafka-connect,confluent-platform,Apache Kafka,Google Cloud Storage,Apache Kafka Connect,Confluent Platform,我是一个新手,使用Confluent GCS连接器。我遵循了中概述的文档,除GCS bucket中未出现的卡夫卡主题数据外,一切都按照计划进行。目录结构类似于卡夫卡主题名,但没有实际的主题记录。我使用上述文档中包含的默认属性文件作为Avro格式模式,刷新大小为3。我下载了凭据文件,并且可以从VM实例中看到。我还可以将本地文件从我的Google VM实例复制到bucket,这样我就知道我有正确的权限 {"name": "gcs", "config": { "connector.clas

我是一个新手,使用Confluent GCS连接器。我遵循了中概述的文档,除GCS bucket中未出现的卡夫卡主题数据外,一切都按照计划进行。目录结构类似于卡夫卡主题名,但没有实际的主题记录。我使用上述文档中包含的默认属性文件作为Avro格式模式,刷新大小为3。我下载了凭据文件,并且可以从VM实例中看到。我还可以将本地文件从我的Google VM实例复制到bucket,这样我就知道我有正确的权限

{"name": "gcs",
  "config": {
    "connector.class": "io.confluent.connect.gcs.GcsSinkConnector",
    "tasks.max": "1",
    "topics": "gcs_topic",
    "gcs.bucket.name": "#bucket-name",
    "gcs.part.size": "5242880",
    "flush.size": "3",
    "gcs.credentials.path": "#/path/to/credentials/keys.json",
    "storage.class": "io.confluent.connect.gcs.storage.GcsStorage",
    "format.class": "io.confluent.connect.gcs.format.avro.AvroFormat",
    "partitioner.class": "io.confluent.connect.storage.partitioner.DefaultPartitioner",
    "schema.compatibility": "NONE",
    "confluent.topic.bootstrap.servers": "localhost:9092",
    "confluent.topic.replication.factor": "1",
    "name": "gcs"
  },
  "tasks": [],
  "type": null
}
连接属性文件如下所示:

bootstrap.servers=localhost:9092
group.id=连接群集
key.converter=io.confluent.connect.avro.AvroConverter
key.converter.schema.registry.url=http://localhost:8081
value.converter=io.confluent.connect.avro.AvroConverter
value.converter.schema.registry.url=http://localhost:8081
config.storage.topic=连接配置
offset.storage.topic=连接偏移量
status.storage.topic=连接状态
config.storage.replication.factor=1
offset.storage.replication.factor=1
status.storage.replication.factor=1
internal.key.converter=org.apache.kafka.connect.json.JsonConverter
internal.value.converter=org.apache.kafka.connect.json.JsonConverter
internal.key.converter.schemas.enable=false
内部.value.converter.schemas.enable=false
Plugin.path=~/confluent/share/java、~/confluent/share/confluent中心组件、~/confluent/etc、~/confluent/etc/
rest.extension.classes=io.confluent.connect.replicator.monitoring.ReplicatorMonitoringExtension
producer.interceptor.classes=io.confluent.monitoring.clients.interceptor.monitoringproducertinterceptor
consumer.interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringConsumerInterceptor

不清楚您是否正在主动向主题发送任何数据是使用带有一些测试记录的avro生产商按照说明发送数据。还将其本地消费给使用者实例,以确保kafka topic正在接收事件记录。好的。您可以显示您的Connect分布式属性吗?Connect.stdout正在记录以下类型的消息-在FetchPosition为分区Connect-offsets-10添加了READ_未提交的获取请求{offset=0,offsetEpoch=optional已停止并销毁本地kafka群集。再次重新启动所有程序,通过制作者发送了80个测试事件,该程序似乎正在运行。感谢您的帮助。