Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 有没有可能为谷歌发布/订阅主题定义一个模式,比如使用AVRO的卡夫卡?_Apache Kafka_Message Queue_Avro_Google Cloud Pubsub - Fatal编程技术网

Apache kafka 有没有可能为谷歌发布/订阅主题定义一个模式,比如使用AVRO的卡夫卡?

Apache kafka 有没有可能为谷歌发布/订阅主题定义一个模式,比如使用AVRO的卡夫卡?,apache-kafka,message-queue,avro,google-cloud-pubsub,Apache Kafka,Message Queue,Avro,Google Cloud Pubsub,据我所知,我们可以在Kafka上定义AVRO模式,使用该模式定义的主题将只接受与该模式匹配的数据。在接受数据进入队列之前验证数据结构非常有用 Google Pub/Sub中是否有类似的内容?卡夫卡本身并没有验证模式,因此,除了一对字节数组和一些元数据之外,主题本身没有其他模式。序列化程序是生成客户端的一部分,它在数据到达主题之前执行验证。类似地,在PubSub中,在一天结束时,它只存储/发送字节[]数据 因此,从理论上讲,在通过PubSub的数据两端使用类似于合流Avro模式注册表的东西是完全可

据我所知,我们可以在Kafka上定义AVRO模式,使用该模式定义的主题将只接受与该模式匹配的数据。在接受数据进入队列之前验证数据结构非常有用


Google Pub/Sub中是否有类似的内容?

卡夫卡本身并没有验证模式,因此,除了一对字节数组和一些元数据之外,主题本身没有其他模式。序列化程序是生成客户端的一部分,它在数据到达主题之前执行验证。类似地,在PubSub中,在一天结束时,它只存储/发送
字节[]
数据

因此,从理论上讲,在通过PubSub的数据两端使用类似于合流Avro模式注册表的东西是完全可行的。谷歌不提供这样的功能,AFAIK,所以你需要重新创建可以执行Avro兼容性检查的服务,并在该服务的客户端周围绑定一个PubSub serialization+producer客户端。例如,首先可以在GKE中将注册表本身作为容器运行


可能想签出

是的,您可以使用模式验证Google云发布/订阅主题和消息


见文件。支持AVRO和Protobuf。

可能重复此版本,从今天起,它处于预览模式,一旦与主题关联,就无法更新架构。查看更多信息