Google cloud platform 如何估计BigTable存储利用率？

如何估计BigTable表实际使用的空间

假设我有1B行和一个列族。限定符是一个10个字符的字符串。该值是一个5个字符的字符串。 GC策略：仅限最新版本

原始数据是15GB，但是当然有很多开销，比如存储长度和时间戳。人们应该期望有多大的存储利用率

---

如果我有两个这样的家庭呢？它只是乘法吗？

不幸的是，这里没有一个非常精确的经验法则，但是您应该期望在与逻辑数据大小相同的数量级上

如果你的数据压缩得很好，事情可能会变得更小，但不应该像你提到的明显的开销来源那样变得更大。如果有，请告诉我们

例如，在你的例子中一些幼稚的数学会期望8B/时间戳*1B= 8GB额外的时间戳空间，但是考虑到所有的时间戳很可能是紧密的，因此可以合理地压缩到一半。如果您的行或行范围包含多个时间戳相同或接近相同的值，则压缩效果可能更好

---

还要记住，这是每个值的固定开销，因此，对于较大的值，它在总成本中所占的比例较小。当然，即使是8GB额外SSD空间的标价也是如果我的数据压缩良好，你是什么意思？BigTable是否对la RocksDB/LevelDB进行SST压缩？使用的是什么压缩方案？不幸的是，我无法共享Cloud Bigtable中使用的确切压缩方案和调优参数。然而，Bigtable的一般压缩方法在原始OSDI论文的“压缩”部分有概述：（第7页）。就数据压缩而言，所有关于压缩的常规直觉都适用。例如，真正的随机数据根本不应该是可压缩的，而英文文本或顺序数据应该压缩得很好，因为熵较低。