Compression 有强调压缩的键值存储吗?

Compression 有强调压缩的键值存储吗?,compression,distributed,key-value-store,Compression,Distributed,Key Value Store,是否有符合以下标准的键值存储 它们是开源的 持久文件存储 拥有复制和oplog 具有可配置的压缩功能,可用于每秒存储10-100兆字节的原始文本 在windows和linux上工作 所需接口应至少包含: 通过文本或数字ID存储记录 按ID检索记录 支持不同类型的压缩: 压缩考虑 WiredTiger在几个阶段压缩数据以保留内存和 磁盘空间。应用程序可以配置这些不同的压缩 在内存、磁盘和CPU之间定制需求的算法 消费。块压缩工作以外的压缩算法 通过修改键和值的表示方式,从而减少 内存和磁盘上

是否有符合以下标准的键值存储

  • 它们是开源的
  • 持久文件存储
  • 拥有复制和oplog
  • 具有可配置的压缩功能,可用于每秒存储10-100兆字节的原始文本
  • 在windows和linux上工作
所需接口应至少包含:

  • 通过文本或数字ID存储记录
  • 按ID检索记录
    • 支持不同类型的压缩:

      压缩考虑

      WiredTiger在几个阶段压缩数据以保留内存和 磁盘空间。应用程序可以配置这些不同的压缩 在内存、磁盘和CPU之间定制需求的算法 消费。块压缩工作以外的压缩算法 通过修改键和值的表示方式,从而减少 内存和磁盘上的数据大小。另一方面,块压缩 以二进制表示形式压缩数据,同时将其保存在 磁盘

      配置压缩可能会改变应用程序吞吐量。对于 例如,在使用固态驱动器的应用程序中(I/O更少 昂贵),关闭压缩可能会增加应用程序 通过降低CPU成本提高性能;在I/O成本较低的应用程序中 更昂贵的是,打开压缩功能可能会增加应用程序 通过减少I/O操作的总数来提高性能

      WiredTiger使用一些内部算法来压缩数据量 存储的数据不可配置,但始终处于打开状态。例如 运行长度通过存储顺序, 仅在存储中重复一次值(使用关联的 计数)

      wiredtiger支持不同类型的压缩:

      • 键前缀
      • 字典
      • 哈夫曼
      • 以及支持lz4、snappy、zlib和zstd等功能的块压缩

      请查看主题的完整封面。

      您计划在其中存储多少数据?@MateuszDymczyk几十兆字节您最终使用了什么?我有完全相同的要求。