Google cloud platform 云扳手:意外的CPU利用率

Google cloud platform 云扳手:意外的CPU利用率,google-cloud-platform,google-cloud-spanner,Google Cloud Platform,Google Cloud Spanner,自8个月以来,我们在Google Cloud Paner中运行了一小部分生产数据,用于测试和学习有关Cloud Paner的知识 大致特征: 1个表,40亿行,大约600GB的存储大小,每天增加2500万行,表中没有任何内容被删除 我们确实以低而简单的读取方式写入大量数据 每天写入的数据量不断增加,但增幅不大 节点数:1(这不建议用于生产,但我感兴趣的是CPU利用率的相对变化-使用3将利用率降低到不超过三分之一) 我们确实有一些但不是很多非常大的拆分,可能会超过建议的“某些GB”拆分大小,因为

自8个月以来,我们在Google Cloud Paner中运行了一小部分生产数据,用于测试和学习有关Cloud Paner的知识

大致特征:

  • 1个表,40亿行,大约600GB的存储大小,每天增加2500万行,表中没有任何内容被删除
  • 我们确实以低而简单的读取方式写入大量数据
  • 每天写入的数据量不断增加,但增幅不大
  • 节点数:1(这不建议用于生产,但我感兴趣的是CPU利用率的相对变化-使用3将利用率降低到不超过三分之一)
  • 我们确实有一些但不是很多非常大的拆分,可能会超过建议的“某些GB”拆分大小,因为它们大约是20GB左右
我们首先注意到的是,夜间CPU利用率与我们产生的负载并不直接对应。我认为这是像卡桑德拉那样的重组任务。所以我们认为没什么大不了的

一周前,情况开始发生变化,CPU利用率不断上升。存储空间开始缩小。这很有趣,因为我们只添加数据。(见图片)

我在想什么:

  • 也许是云扳手的新版本触发了一些全球重组
  • 我们的大分裂在重组过程中产生了问题

有人知道这背后的原因吗?

谢谢你的详细帖子。是的,云扳手最近对重组/压缩进行了一些优化。Cloud Panner定期在不同区域发布优化,这些区域作为使用空闲cpu资源的后台任务运行。云扳手确保后台任务不会占用服务用户请求所需的资源