Database 用于数百万行存储/查询的最佳数据库

Database 用于数百万行存储/查询的最佳数据库,database,nosql,Database,Nosql,我们有一个数据库,已经增长了大约5年。主表有近100列和7亿行(并且还在增长) 常见用例是计算与给定条件匹配的行数,即: 选择count(*),其中column1='TypeA'和column2='BlockC' 另一个用例是检索符合条件的行 查询一开始需要一些时间,现在需要几分钟。 我想找到一些数据库管理系统,使我能够使这两个用例尽可能快 我一直在研究一些列存储数据库和ApacheCassandra,但仍然不知道什么是最好的选择。有什么想法吗 更新:现在我推荐Hive 3或PrestoDB用于

我们有一个数据库,已经增长了大约5年。主表有近100列和7亿行(并且还在增长)

常见用例是计算与给定条件匹配的行数,即: 选择count(*),其中column1='TypeA'和column2='BlockC'

另一个用例是检索符合条件的行

查询一开始需要一些时间,现在需要几分钟。 我想找到一些数据库管理系统,使我能够使这两个用例尽可能快


我一直在研究一些列存储数据库和ApacheCassandra,但仍然不知道什么是最好的选择。有什么想法吗

更新:现在我推荐Hive 3或PrestoDB用于大数据分析

我将假设这是一个没有当前数据的分析(历史)数据库。如果不是,你应该考虑分开你的DBS。< /P> 您需要一些功能来帮助加快分析速度:

  • 物化视图。这本质上是预先计算值,然后存储结果以供以后分析。MySQL和Postgres(即将在Postgres 9.3中发布)不支持此功能,但您可以使用触发器进行模拟

  • 易于OLAP分析。您可以使用Mondrian OLAP服务器(java),但Excel不容易与之对话,但JasperSoft和Pentaho可以

  • 您可能希望更改模式以便于OLAP分析,即星形模式。好书:

如果你想要开源,我会去Postgres(不会被mysql这样的大查询阻塞),再加上Mondrian,再加上Pentaho


如果不是开源的,那么最好的选择可能是Microsoft SQL Server和Analysis Services。

更新:现在我推荐Hive 3或PrestoDB用于大数据分析

我将假设这是一个没有当前数据的分析(历史)数据库。如果不是,你应该考虑分开你的DBS。< /P> 您需要一些功能来帮助加快分析速度:

  • 物化视图。这本质上是预先计算值,然后存储结果以供以后分析。MySQL和Postgres(即将在Postgres 9.3中发布)不支持此功能,但您可以使用触发器进行模拟

  • 易于OLAP分析。您可以使用Mondrian OLAP服务器(java),但Excel不容易与之对话,但JasperSoft和Pentaho可以

  • 您可能希望更改模式以便于OLAP分析,即星形模式。好书:

如果你想要开源,我会去Postgres(不会被mysql这样的大查询阻塞),再加上Mondrian,再加上Pentaho


如果不是开源的,那么最好的选择可能是Microsoft SQL Server和Analysis Services。

谢谢。我的描述有问题。他有70亿美元。刚刚做了一些估计,预计每年将增长10亿左右。对于新的定义,您仍然建议相同的解决方案吗?谢谢。我的描述有问题。他有70亿美元。刚刚做了一些估计,预计每年将增长10亿左右。对于新的定义,您仍然建议相同的解决方案吗?