MySQL 2000万条记录表如何优化

MySQL 2000万条记录表如何优化,mysql,cluster-computing,bigdata,Mysql,Cluster Computing,Bigdata,对于一个拥有200万用户的网站,其中每个用户共享数千张图片,每张图片上会有数千条评论,在这种情况下会有超过20亿条评论,那么我如何使用MySql管理这么多的大数据呢。以下方法如何提高数据库服务器的性能 表部件的使用 使用MySQL集群 将MySQL与memcached一起使用 请解释处理如此大的数据库表的其他方法和最佳实践除了上述优化之外,在正确的字段中选择正确的索引对查询性能至关重要,请确保您的表基于您分组、排序或搜索的所有内容编制索引 还要确保查看MySql参考资料的第8章,其中讨论了 在进

对于一个拥有200万用户的网站,其中每个用户共享数千张图片,每张图片上会有数千条评论,在这种情况下会有超过20亿条评论,那么我如何使用MySql管理这么多的大数据呢。以下方法如何提高数据库服务器的性能

表部件的使用 使用MySQL集群 将MySQL与memcached一起使用
请解释处理如此大的数据库表的其他方法和最佳实践

除了上述优化之外,在正确的字段中选择正确的索引对查询性能至关重要,请确保您的表基于您分组、排序或搜索的所有内容编制索引

还要确保查看MySql参考资料的第8章,其中讨论了 在进入memcached和MySql集群之前,您真正应该关注的是优化


随着数据库的增长,您将监控性能并进行相应的优化。

在这种情况下,我不认为传统的RDBMS是您所需要的:,更像是NoSQl是最适合您的。

我想说您的预测有点高。。。根据你的计算,该网站的每个用户平均会写一百万条评论。如果你真的有这样一个规模的网站,你可能需要雇佣一个SQL专家团队来管理数据库。2000000用户*平均每个用户5000张照片*平均每张照片2000条评论=2e+13你真的认为每张照片上都会有2000条评论吗?这实际上意味着每个用户将在avarage上写5000*2000=10000000条评论。即使预计会持续10年,这也意味着2000万用户中的每一个人都会日夜不停地每30秒写一条评论。假设每条评论只有40个字符长,你将需要大约727TB的磁盘空间来存储评论。光是在磁盘上你就要花一大笔钱了。我认为@Juhana说你的预测有点高是正确的。我曾为一些相当大的组织工作,其中10年的生产数据不是那么大。@ Juhana,你搞错了,在照片共享网站上,用户在他的账户上有5000张图片是很常见的,在每一张图片上,我们至少可以考虑他/她的朋友们的千条评论。我的问题不是会有多少评论。好吧,你可以从2000000条记录中减少一到两条0:但这仍然是一个大数据。那么我需要做什么计划来管理这么多的大数据。基于什么证据?这是一个非常笼统的说法。事实是,像您描述的那样,站点之外的数据可以从非rdbms中获得更多好处,因为大多数此类数据都不是继承人。由于大部分工作都投入到规范化和索引中,因此从长远来看,获取这些数据将是昂贵的。因此,在没有看到实际数据结构的情况下,您得出了这个结论。那我应该雇用你。严肃地说,不分析真实情况的建议是危险的。你看到解决方案了吗?是的,你应该先解雇自己