Database 用于大型列表的NoSQL数据库无法放入内存

为了加快报告速度，我正在寻找一种将数据快速存储到简单的键/值存储中的方法。有数百万个唯一密钥，每个密钥可以有数百万个子项，例如：

key1: [a, b, c, d, e, f, g, ...]
key2: [a, x, y, z]

键和单个值都是字符串；这些值应该是唯一字符串的集合（即一个集合）。重点是写得多，读得少。问题是，数据集的大小是数百GB。我最初对Redis感兴趣，但事实上，虚拟内存（在磁盘上存储值的能力）正在被弃用，这意味着它将不再有用

我应该看什么样的数据存储？许多KV存储对其值的大小有限制，其他存储的内存效率较低，会导致内存大小膨胀。无法就地操作这些值也是一个限制，因为这样需要读取大量数据，然后再次写入

---

我的问题是：是否有我应该查看的特定数据存储子集？我试图做的事情可行吗？或者根本就没有办法实时有效地执行此操作？

您阅读过REDIS常见问题解答吗？您可能会对REDIS是否是您的应用程序的解决方案有所了解。是的，如前所述，数据集太大，无法放入内存，而且这样做所需的集群数量是不可行的（从技术或财务角度来看）。由于Redis不推荐使用虚拟内存，这意味着整个数据集（键和值）必须适合每个集群的内存。