Cloud openstack中的云共享内存管理

Cloud openstack中的云共享内存管理,cloud,data-analysis,openstack,Cloud,Data Analysis,Openstack,我将使用python进行数据分析,大小为2TB。没有足够的内存供本地计算机使用。是否可以使用openstack设置云并让集群共享内存?有什么例子吗?没有,你不能用OpenStack做这个 你所描述的是一个系统。我相信它销售一种叫做vSMP的产品,可以做到这一点。请注意,从历史上看,分布式共享内存系统很难获得良好的性能,因为有一个问题称为(我不知道这对ScaleMP有多大影响,我从未使用过它) 您还可以购买更昂贵的系统,该系统带有支持分布式共享内存的专用硬件,例如 您最好修改代码以利用Hadoop

我将使用python进行数据分析,大小为2TB。没有足够的内存供本地计算机使用。是否可以使用openstack设置云并让集群共享内存?有什么例子吗?

没有,你不能用OpenStack做这个

你所描述的是一个系统。我相信它销售一种叫做vSMP的产品,可以做到这一点。请注意,从历史上看,分布式共享内存系统很难获得良好的性能,因为有一个问题称为(我不知道这对ScaleMP有多大影响,我从未使用过它)

您还可以购买更昂贵的系统,该系统带有支持分布式共享内存的专用硬件,例如


您最好修改代码以利用Hadoop或MPI之类的功能

那么,您可以在云实例内部实现

您基本上可以创建多个实例,每个实例都有一个大型ramf。然后将多个节点上的所有RAMF放入网络分布式文件系统,如openAFS、gluster或luster


这是一种方法。

你的问题太宽泛,无法说明你已经尝试了什么。也许可以在你的机器上完成。这就是你被否决的原因。不要气馁;如果你愿意付出适当的努力,那么这是一个伟大的社区。我已经在自己的4GB内存机器上进行了尝试。我处理2TB数据时内存不足。另一方面,我考虑过使用hadoop,但是MapReduce要求我重新编码所有内容,即使是一个简单的计数函数。这就是为什么共享内存系统可以提供帮助的原因,它可以尽可能地扩展内存。