Mysql 如何为大型并行迭代进行设计和准备

Mysql 如何为大型并行迭代进行设计和准备,mysql,database-design,mysql-workbench,Mysql,Database Design,Mysql Workbench,我可以利用你的帮助,以最理想的方式设置我的数据库结构(经得起未来的考验)。 这有助于根据特定的客户资料从预订网站获取数据。在这之后,我想通过php构建带有枢轴的仪表盘等,以了解更多信息 情况: - 10k customer profiles per month - through 5 sites - with about 125 results - with 20 attributes (pricing etc) per result 这是第一次迭代中最小的1.25亿条数据 接下来的迭代

我可以利用你的帮助,以最理想的方式设置我的数据库结构(经得起未来的考验)。 这有助于根据特定的客户资料从预订网站获取数据。在这之后,我想通过
php
构建带有枢轴的仪表盘等,以了解更多信息

情况:

- 10k customer profiles per month 
- through 5 sites 
- with about 125 results 
- with 20 attributes (pricing etc) per result
这是第一次迭代中最小的1.25亿条数据

接下来的迭代可能会在>#站点和新的/部分重叠的客户配置文件中出现偏差(我猜是20k)

限制: -
目前只有一个MySQL数据库

我考虑过列、行和表的限制,这些是我可以想到的选项。也许/希望你有更好的建议,或者给我指出以下建议:

  • 1个包含所有配置文件的表,然后为每个配置文件创建表,并在此表中保存每行的数据(#站点、#结果、#属性)

  • 与1相同。但是,为了保存每个概要文件表的行数,需要一个包含每个站点数据(#结果和#属性)的blob。但是自从我 从未处理过特殊的斑点,我不知道有多容易/难 那就是把数据拿出来进行分析


  • 第二个解决方案比第一个解决方案有更多的并发限制。如果两个进程想要写入同一个blob,那么与分解所有内容相比,您需要考虑更多的锁定问题


    首先规范化数据。然后,随着你的成长,只在你必须的地方去规范化。规范化是一种全局优化,而非规范化既有成本也有收益。

    重复使用。Rick还帮助了我的和,最大行数的问题以及插入(通过加载数据)毕竟不是一个问题。问题已解决;-)