Mysql 处理大量数据(约4亿条记录)
我有一个大数据集(表),存储了用户id字段、日期字段、国家字段(如美国、FRA等)和其他字段Mysql 处理大量数据(约4亿条记录),mysql,database,networking,bigdata,Mysql,Database,Networking,Bigdata,我有一个大数据集(表),存储了用户id字段、日期字段、国家字段(如美国、FRA等)和其他字段 | User ID | Date | Country | Other Fields ... | |-----------|------------|-----------|------------------| | 1 | 2013-2-1 | USA | ... | | 2 | 2013-2-1 |
| User ID | Date | Country | Other Fields ... |
|-----------|------------|-----------|------------------|
| 1 | 2013-2-1 | USA | ... |
| 2 | 2013-2-1 | FRA | ... |
| 3 | 2013-2-2 | GBK | ... |
数据结构很简单,我想传递日期、国家或其他字段,
并询问答案
问题是大约有4亿条记录,如果我使用MySQL这样的普通数据库,速度会非常慢
目前不需要特定的数据库、编程语言或方法,任何可能使其工作的工具都可以,如MySQL、Redis、Mongo等,是否可行?根据查询类型,拆分为多个表可能会有所帮助(适用于可以提前确定哪些子表包含所需行的情况) 这不是一个非常干净的设计,但进一步拆分为多个数据库服务器(可能也有帮助)更为复杂