Apache kafka kafka broker是否对2MB消息大小有影响

我们有一个用例，我们希望向kafka生成最大大小为2MB的数据（也就是说，根据用户操作，消息大小会有所不同）

是否产生2MB大小将产生任何影响，或者我们需要将消息拆分为小块（例如100KB）并生成

如果我们制作成小块，它将增加用户的响应时间。另外，我们已经通过向kafka生成2MB消息进行了检查，我们没有看到太多延迟

无论如何，如果我们分割数据并生成，它对磁盘大小没有任何影响。但代理性能是否会因此而降低

我们的代理配置为：

RAM 125.6 GB 磁盘大小2.9 TB

---

处理器40

我看不出大小高达2MB的消息有任何问题。您只需配置相应的参数

• 在代理端设置

  message.max.bytes

  和

  replica.fetch.max.bytes

  （请注意，

  message.max.bytes

  replica.fetch.max.bytes

  ）

• 消费者端的

  max.partition.fetch.bytes

---

至少2MB

我建议考虑更高效的，甚至是二进制数据格式（ref-Avro，Protobuf，MsgPack，等等）来生成数据，然后在生产者代码中添加压缩（Zstd，GZIP，Snappy，等等），然后再尝试调整任何与代理相关的属性。。