Mysql 云端灯组

我运行了一个非常定制的集群，用于处理基于基本灯具设计的大量科学数据。一般来说，我运行一个单独的MySQL服务器，它有大约128GB的ram和大约1TB的存储空间。另外，我运行一个head节点作为进程数据输入的nfs装载点，并运行一个Web服务器来显示结果。最后，我有几个计算节点，它们从mysql表中获取作业，从NFS获取数据，执行一些繁重的工作，然后将结果放入mysql

我遇到了一个我想处理的数据集，这个数据集非常大（1TB的输入数据），而我手头没有处理它的硬件。因此，我开始研究google compute engine等，以及扩展实例以使用存储在mysql实例中的结果快速处理这些数据的前景。完成后，可以从云中转储mysql表，并在本地进行分析。部署MySQL服务器以及其余的灯部件和计算节点不会有问题，但我不太清楚如何在云中做到这一点

---

一个主要的症结似乎是缺少读/写NFS，它允许我将数据获取到多个实例上，处理数据，然后将结果推送到MySQL。这对我来说是一个必要的步骤，因为我可以从Web服务器排队数百个作业，然后让实例（多达50-100个）通过连接到一个集中的mysql实例来选择作业，以找出实例需要做什么作业以及数据在哪里。处理数据（会发生文件转换，这使得写入部分成为必要），处理数据，然后将结果加载到mysql。我希望我能清楚地解释我的情况。这似乎是CPU密集型进程的一个很好的例子，可以在云中很好地扩展，我只是不能把所有的部分放在一起。。。欢迎您的任何意见

听起来很有可能；我在GCE做类似的事情已经有一段时间了

NFS装载-您只需要像平常一样配置它。在头节点上设置NFS服务器，然后在从属节点上配置客户端以装载它。下面是我用来启动和运行NFS的Centos 6的一些基本配置说明

设置灯组非常简单。这些机器运行的几乎都是普通的Linux发行版，所以您可以使用yum或apt-get安装组件

对于集群，您可能会得到一个用于您曾经使用的头节点的映像，然后是另一个用于您为每个从节点复制的从属节点的映像

对于调度程序，我已经成功地使用了Condor和Sge，但我相信其他的也可以工作

---

希望这能有所帮助。

对于这个问题，stack exchange站点并不合适