Mysql 针对大型不常访问数据集的数据库解决方案

Mysql 针对大型不常访问数据集的数据库解决方案,mysql,mongodb,nosql,Mysql,Mongodb,Nosql,我们使用MongoDB在我们的数据库中存储每天统计的日志,大约有1000个条目——收集的记录目前接近1亿条。这些数据对于数据挖掘很有用,但很少被访问。我们最近将它从主要的MySQL数据库转移到了Mongo数据库;结果证明这并不理想——Mongo针对快速读取进行了优化,将其所有索引保留在内存中,并且该表上的索引非常大 什么是存储大量数据的好方法,用于日常大量写入,但不经常读取?我们正在考虑在一个单独的系统上安装一个单独的MySQL。另一种可能是不需要在内存中保存索引的NoSQL解决方案。没错,No

我们使用MongoDB在我们的数据库中存储每天统计的日志,大约有1000个条目——收集的记录目前接近1亿条。这些数据对于数据挖掘很有用,但很少被访问。我们最近将它从主要的MySQL数据库转移到了Mongo数据库;结果证明这并不理想——Mongo针对快速读取进行了优化,将其所有索引保留在内存中,并且该表上的索引非常大


什么是存储大量数据的好方法,用于日常大量写入,但不经常读取?我们正在考虑在一个单独的系统上安装一个单独的MySQL。另一种可能是不需要在内存中保存索引的NoSQL解决方案。

没错,NoSQL适合快速读取简单数据。由于需要对该数据进行查询并可能进行关系操作,因此我建议为此单独安装mysql


您需要最小化sql索引以实现快速写入

您是否已经在mysql中使用了存档存储引擎?它直接用于很少被引用的数据。“什么是存储大量数据以进行日常大容量写入的好方法”—一个具有良好硬件和正确设置的数据库服务器,可以考虑使用一些ETL工具将旧(er)数据移动到OLAP仓库(即使在其他地方只是另一个MySQL)。这也可能会影响(或受到)任何应该发生的数据退役或成形,等等。这取决于讨论的是哪种“nosql”实现。