Java Kafka streams聚合RecordTooLargeException

尝试在5分钟的滚动窗口中聚合单个流中的数据。最初，它工作正常，能够打印聚合记录。使用Java8进行开发

但后来开始收到一个错误-

“org.apache.kafka.common.errors.RecordTooLargeException:序列化时消息为5292482字节，大于1048576，这是max.request.size配置的值”

现在，每次在EKS集群中启动我的应用程序后，都会在一分钟内崩溃，并出现相同的错误

尝试设置以下StreamConfig，但也没有帮助： StreamsConfig.RECEIVE_BUFFER_CONFIG（50 MB） StreamsConfig.CACHE\u MAX\u BYTES\u BUFFERING\u CONFIG（50 MB）

以下任何一项都可以解决此问题：

使用inMemoryKeyValueStore。是否有任何特定属性可为inMemoryKeyValueStore分配一些内存

或者应该切换到persistentKeyValueStore

在创建集群时使用AWS MSK so，定义代理和主题级别设置-message.max.bytes，并使用适当的值

---

提前感谢。

您需要增加生产者配置

max.request.size

（如错误消息中所述）以解决此问题

---

请注意，您可能需要增加另外提到的broker/topic config

message.max.bytes

。

感谢Matthias的建议。我设置了“max.request.size”属性，并将其作为producerPrefix传递，它可以工作：properties.put（StreamsConfig.producerPrefix（“max.request.size”），10000000）