Compression 有强调压缩的键值存储吗?
是否有符合以下标准的键值存储Compression 有强调压缩的键值存储吗?,compression,distributed,key-value-store,Compression,Distributed,Key Value Store,是否有符合以下标准的键值存储 它们是开源的 持久文件存储 拥有复制和oplog 具有可配置的压缩功能,可用于每秒存储10-100兆字节的原始文本 在windows和linux上工作 所需接口应至少包含: 通过文本或数字ID存储记录 按ID检索记录 支持不同类型的压缩: 压缩考虑 WiredTiger在几个阶段压缩数据以保留内存和 磁盘空间。应用程序可以配置这些不同的压缩 在内存、磁盘和CPU之间定制需求的算法 消费。块压缩工作以外的压缩算法 通过修改键和值的表示方式,从而减少 内存和磁盘上
- 它们是开源的
- 持久文件存储
- 拥有复制和oplog
- 具有可配置的压缩功能,可用于每秒存储10-100兆字节的原始文本
- 在windows和linux上工作
- 通过文本或数字ID存储记录
- 按ID检索记录
- 键前缀
- 字典
- 哈夫曼
- 以及支持lz4、snappy、zlib和zstd等功能的块压缩
- 支持不同类型的压缩:
压缩考虑
WiredTiger在几个阶段压缩数据以保留内存和
磁盘空间。应用程序可以配置这些不同的压缩
在内存、磁盘和CPU之间定制需求的算法
消费。块压缩工作以外的压缩算法
通过修改键和值的表示方式,从而减少
内存和磁盘上的数据大小。另一方面,块压缩
以二进制表示形式压缩数据,同时将其保存在
磁盘
配置压缩可能会改变应用程序吞吐量。对于
例如,在使用固态驱动器的应用程序中(I/O更少
昂贵),关闭压缩可能会增加应用程序
通过降低CPU成本提高性能;在I/O成本较低的应用程序中
更昂贵的是,打开压缩功能可能会增加应用程序
通过减少I/O操作的总数来提高性能
WiredTiger使用一些内部算法来压缩数据量
存储的数据不可配置,但始终处于打开状态。例如
运行长度通过存储顺序,
仅在存储中重复一次值(使用关联的
计数)
wiredtiger支持不同类型的压缩:
请查看主题的完整封面。您计划在其中存储多少数据?@MateuszDymczyk几十兆字节您最终使用了什么?我有完全相同的要求。