Mysql 如何建立一个稳定的处理9000万行的系统&;每天传输到实时服务器?

Mysql 如何建立一个稳定的处理9000万行的系统&;每天传输到实时服务器?,mysql,google-bigquery,bigdata,Mysql,Google Bigquery,Bigdata,我有一个公司的员工奖励和跟踪系统。我正在为该公司开发一个系统,每天通过FTP向我提供销售数据。(不幸的是,他们没有为此提供Web服务。)我必须存储和处理所有新的销售和员工数据,我必须计算员工通过销售赢得多少积分,他们拥有多少徽章。。。(以销售额为基础)。我已经有一个系统可以正常工作,但我正在考虑将这些计算过程移动到云中,并在计算后传输点数据。我的系统读取所有销售数据并将其存储在MySQL中。之后,PHP脚本将原始数据处理为点数据。我的网页不加载原始数据,它们只需要基本的个人信息和员工钱包余额 在

我有一个公司的员工奖励和跟踪系统。我正在为该公司开发一个系统,每天通过FTP向我提供销售数据。(不幸的是,他们没有为此提供Web服务。)我必须存储和处理所有新的销售和员工数据,我必须计算员工通过销售赢得多少积分,他们拥有多少徽章。。。(以销售额为基础)。我已经有一个系统可以正常工作,但我正在考虑将这些计算过程移动到云中,并在计算后传输点数据。我的系统读取所有销售数据并将其存储在MySQL中。之后,PHP脚本将原始数据处理为点数据。我的网页不加载原始数据,它们只需要基本的个人信息和员工钱包余额

在这种情况下,哪个数据库系统更适合这种情况?哪些服务(AWS、Gcloud等)适合我们的需要?可以做些什么来加快这个系统的工作


提前感谢。

首先,通过引入消息队列(下载、文件处理、计算等),使一些进程并行和异步。对于PHP/MySQL,最简单的建议是它有一个很好的

对于更大的步骤,您可以选择云服务,如每月免费提供1TB的查询,存储成本较低,每TB 10-20美元(2017年第一季度)。这需要通过流式插入或加载作业将数据的副本插入BigQuery。数据输入后,即使在大型数据集上,也可以编写更长时间的SQL查询。如果需要通过用户定义的函数修改某些行,也可以在BigQuery中进行修改


如果您正在寻找2000 QPS以上的MySQL替代品,您可以在这里查看。

如果您每天在销售中获得9000万数据点,您到底在跟踪什么?我的观点是,你应该“更聪明地工作”,而不是“更努力地工作”。一个单点系统不需要在你的笔记本电脑上花费超过几分钟的时间,而不是一些大型的云计算安装。