Apache kafka 有没有可能为谷歌发布/订阅主题定义一个模式,比如使用AVRO的卡夫卡?
据我所知,我们可以在Kafka上定义AVRO模式,使用该模式定义的主题将只接受与该模式匹配的数据。在接受数据进入队列之前验证数据结构非常有用Apache kafka 有没有可能为谷歌发布/订阅主题定义一个模式,比如使用AVRO的卡夫卡?,apache-kafka,message-queue,avro,google-cloud-pubsub,Apache Kafka,Message Queue,Avro,Google Cloud Pubsub,据我所知,我们可以在Kafka上定义AVRO模式,使用该模式定义的主题将只接受与该模式匹配的数据。在接受数据进入队列之前验证数据结构非常有用 Google Pub/Sub中是否有类似的内容?卡夫卡本身并没有验证模式,因此,除了一对字节数组和一些元数据之外,主题本身没有其他模式。序列化程序是生成客户端的一部分,它在数据到达主题之前执行验证。类似地,在PubSub中,在一天结束时,它只存储/发送字节[]数据 因此,从理论上讲,在通过PubSub的数据两端使用类似于合流Avro模式注册表的东西是完全可
Google Pub/Sub中是否有类似的内容?卡夫卡本身并没有验证模式,因此,除了一对字节数组和一些元数据之外,主题本身没有其他模式。序列化程序是生成客户端的一部分,它在数据到达主题之前执行验证。类似地,在PubSub中,在一天结束时,它只存储/发送
字节[]
数据
因此,从理论上讲,在通过PubSub的数据两端使用类似于合流Avro模式注册表的东西是完全可行的。谷歌不提供这样的功能,AFAIK,所以你需要重新创建可以执行Avro兼容性检查的服务,并在该服务的客户端周围绑定一个PubSub serialization+producer客户端。例如,首先可以在GKE中将注册表本身作为容器运行
可能想签出是的,您可以使用模式验证Google云发布/订阅主题和消息
见文件。支持AVRO和Protobuf。可能重复此版本,从今天起,它处于预览模式,一旦与主题关联,就无法更新架构。查看更多信息