Json 如何将大尺寸有效载荷压缩到运动流中？

我有一个5 MB的JSON负载，我需要使用put记录将其推送到Kinesis流。由于Kinesis数据大小限制为1 MB，我应该遵循哪些方法来压缩数据，如果压缩后json负载仍然过大，那么步骤将是什么，那么您通常有两个选项：

将其拆分为多个较小的有效载荷。使用者必须能够基于有效载荷的

部分id

重构有效载荷

将大型有效负载数据存储在流之外，例如存储在S3中，然后只在消息中发送大型文件（例如S3路径）的元数据

使用哪种压缩取决于流生成器。更具体地说，它们支持哪些压缩算法

---

但是，如果这两个选项中的任何一个不适合你，那么你可能需要考虑到运动不是正确的工具。我认为Apache Kafka可以支持大于1MB的消息。

如果压缩后json负载仍然太大，那么通常有两个选项：

将其拆分为多个较小的有效载荷。使用者必须能够基于有效载荷的

部分id

重构有效载荷

将大型有效负载数据存储在流之外，例如存储在S3中，然后只在消息中发送大型文件（例如S3路径）的元数据

使用哪种压缩取决于流生成器。更具体地说，它们支持哪些压缩算法

---

但是，如果这两个选项中的任何一个不适合你，那么你可能需要考虑到运动不是正确的工具。我认为ApacheKafka可以支持大于1MB的消息。

并且记住在不再需要时从S3中删除对象。根据您保存在S3中的数据量，成本可能会非常迅速地增加。请记住在不再需要时从S3中删除对象。根据您保存在S3中的数据量，成本可能会快速增加。