Apache kafka 卡夫卡主题字段数量和格式指南

Apache kafka 卡夫卡主题字段数量和格式指南,apache-kafka,kafka-producer-api,Apache Kafka,Kafka Producer Api,正在为一些信息创建新的卡夫卡主题以供分享,请您提供行业最佳实践帮助: 字段数?卡夫卡主题可以有200个字段吗? 要使用的消息格式(Avro/JSON?) 卡夫卡没有字段数量的概念。它是一个基于日志的消息传递系统,其中每个事件表示一个包含键、值和时间戳的记录 卡夫卡主题可以具有配置message.max.bytes中定义的最大大小的事件。默认情况下,它设置为1MB,这意味着一个事件大小不能大于1MB。但您可以根据需要更改该值并存储所需的数据(包含100200300等) 不建议使用p.S.Kafka

正在为一些信息创建新的卡夫卡主题以供分享,请您提供行业最佳实践帮助:

字段数?卡夫卡主题可以有200个字段吗?
要使用的消息格式(Avro/JSON?)

卡夫卡没有字段数量的概念。它是一个基于日志的消息传递系统,其中每个事件表示一个包含键、值和时间戳的记录

卡夫卡主题可以具有配置
message.max.bytes
中定义的最大大小的事件。默认情况下,它设置为
1MB
,这意味着一个事件大小不能大于1MB。但您可以根据需要更改该值并存储所需的数据(包含100200300等)

不建议使用p.S.Kafka存储大消息(即50MB)

关于消息格式,Avro在其他数据格式中非常流行,但这取决于您的业务用例。Avro结构紧凑,支持模式演化

以下是一些关于数据格式比较的好观点。

非常感谢您的回复——:)请随意投票或接受答案,如果答案对您有帮助的话。:)FWIW关于数据格式-