Database 管理最佳、规模可扩展的postgres服务

Database 管理最佳、规模可扩展的postgres服务,database,postgresql,google-bigquery,google-cloud-storage,Database,Postgresql,Google Bigquery,Google Cloud Storage,我目前正在构建一个数据密集型的web服务,我正在努力寻找适合我需要的最佳管理数据库提供商 简言之: 我目前有一个数据库,有3gb的数据。 我的数据库将以每月6到30gb的速度增长,下个月可达1tb 10gb,下个月为30gb,以此类推 我所有的数据都在不断更新,所以我并不是在保存资料,只在只读模式下使用 现在我正在DigitalOcean上使用10gb托管的postgres db,但我很快就需要将我的db迁移到一个更大的实例,我计划在几周内达到8gb的存储容量 问题是,我认为: 我不想为了一个更

我目前正在构建一个数据密集型的web服务,我正在努力寻找适合我需要的最佳管理数据库提供商

简言之:

我目前有一个数据库,有3gb的数据。 我的数据库将以每月6到30gb的速度增长,下个月可达1tb 10gb,下个月为30gb,以此类推 我所有的数据都在不断更新,所以我并不是在保存资料,只在只读模式下使用 现在我正在DigitalOcean上使用10gb托管的postgres db,但我很快就需要将我的db迁移到一个更大的实例,我计划在几周内达到8gb的存储容量

问题是,我认为:

我不想为了一个更大的实例每个月都迁移我的数据库 我不想在知道未来6个月内80%的数据库将不再使用的情况下保留500gb数据库。这不符合成本效益 我查看了Google Cloud Big Query,它似乎可以在不需要迁移数据库的情况下进行扩展,但我担心它最终可能会花费大量成本,因为:

我不断刷新/更新表中的数据 我的查询在我的表上执行查找,这可能需要一些时间,而且可能会占用大量资源。到目前为止,我的查询总是小于3sec 这是我第一次像这样管理大型项目,我不确定什么是最好的解决方案


您有什么见解吗?

如果您有一个关系模型并且需要经常更新数据库,您可能不应该使用BigQuery。如果您的目的是进行分析,即很少更新和复杂查询,那么BigQuery是一个很好的选择,但它不是为用作DBMS而构建的

在你的情况下,如果你想把你的项目放在GCP上,并且让你的数据模型尽可能地与你已经拥有的模型相似,我建议你看一看并修改

两者都是完全管理的关系数据库。主要区别在于Cloud Paner是水平可伸缩的,而Cloud SQL不是,即,如果您只需要一个节点,请使用Cloud SQL。如果您需要扩展集群,请使用云扳手

此外,它们都有各自的Web API。您可以找到Cloud Paner Web API参考。对于云SQL,引用取决于您选择的DBMS:,或


我希望它有帮助

您需要经常更新数据库吗?它像一个可操作的数据库吗?是的,我喜欢。我有一些爬虫,它们不断地查看数据库,并将其内容与他们在网上找到的内容进行比较。太好了。那么您的数据模型呢?它是关系模型吗?是关系模型。其他细节我有7张桌子。我的两个最大的表和得到最多处理的表是:-表1:1M行和16列-表2:3M行和7列6是Int,1是json对于您描述的用例,您最好的选择是将云SQL与PostgreSQL一起使用。有一项功能可以自动扩展磁盘,这样您就可以从当前使用的30 Gb开始,提供的最大存储容量为1Tb。我不建议使用扳手,因为这对于您的用例来说似乎是一种过度的杀伤力。是的,这非常有效。谢谢你们两位。