Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 如何将**附件**(pdf、xls、xml..)发布到**卡夫卡主题中*_Apache Kafka - Fatal编程技术网

Apache kafka 如何将**附件**(pdf、xls、xml..)发布到**卡夫卡主题中*

Apache kafka 如何将**附件**(pdf、xls、xml..)发布到**卡夫卡主题中*,apache-kafka,Apache Kafka,如何将附件(pdf、xls、xml、jpg..)发布到卡夫卡主题。目前,我们正在以AVRO格式向卡夫卡发表文章。AVRO支持将文件附加到卡夫卡主题中,卡夫卡主题将信息作为二进制数据保存。因此,为了将记录发送给卡夫卡,需要将它们序列化为二进制格式,并在从任何主题读取时反序列化为正确的格式 Avro使该操作变得简单,并且前后兼容(与配置和模式)。但我认为avro不支持将文件作为输入。kafka集群中可以使用多种格式。您所能做的最好的事情可能是为您的用例创建一个自定义序列化程序/反序列化程序,其中序列

如何将附件(pdf、xls、xml、jpg..)发布到卡夫卡主题。目前,我们正在以AVRO格式向卡夫卡发表文章。AVRO支持将文件附加到卡夫卡主题中,卡夫卡主题将信息作为二进制数据保存。因此,为了将记录发送给卡夫卡,需要将它们序列化为二进制格式,并在从任何主题读取时反序列化为正确的格式

Avro使该操作变得简单,并且前后兼容(与配置和模式)。但我认为avro不支持将文件作为输入。kafka集群中可以使用多种格式。您所能做的最好的事情可能是为您的用例创建一个自定义序列化程序/反序列化程序,其中序列化程序将读取数据并将其转换为二进制,反之亦然。并在插入/阅读特定主题时使用它


另外,如果您将Schema Registry与AVRO一起使用,则不能将其与自定义序列化程序/反序列化程序一起使用。

您好,谢谢,所以我们不能将附件与AVRO serde一起使用?我们只需要将主题与ByteArraySerializer或Custom SerDe的附件分开?就我个人而言,我会将一个主题用于将对象数据和附件作为字节数组保存的对象,因为这样更容易获得整个数据,否则您需要将附件信息与原始对象的其他信息缝合。