Mongodb 用于迁移大数据的AWS(或其他云解决方案)?

Mongodb 用于迁移大数据的AWS(或其他云解决方案)?,mongodb,amazon-web-services,azure-storage,amazon-dynamodb,cloud-storage,Mongodb,Amazon Web Services,Azure Storage,Amazon Dynamodb,Cloud Storage,我组织了文件系统和SQL数据库中的非关系数据。有一个应用程序同时查询两个源 存储这些数据(相当于1TB)的云解决方案是什么?我希望能够将这些数据迁移到云解决方案中,并修改应用程序以查询云中的数据 到目前为止,我已经研究了AWS选项:SimpleDB、DynamoDB和MongoDB,它们在EC2上与EBS一起使用以增加存储 我还研究了Azure的表存储 SimpleDB有10GB的限制。DynamoDB在SSD上,可能对我的需求来说有些过分了。我错过什么了吗?AWS或Azure表存储上的Mong

我组织了文件系统和SQL数据库中的非关系数据。有一个应用程序同时查询两个源

存储这些数据(相当于1TB)的云解决方案是什么?我希望能够将这些数据迁移到云解决方案中,并修改应用程序以查询云中的数据

到目前为止,我已经研究了AWS选项:SimpleDB、DynamoDB和MongoDB,它们在EC2上与EBS一起使用以增加存储

我还研究了Azure的表存储


SimpleDB有10GB的限制。DynamoDB在SSD上,可能对我的需求来说有些过分了。我错过什么了吗?AWS或Azure表存储上的MongoDB是否适合选择?

我认为解决方案在很大程度上取决于您的数据访问模式

我使用过Azure表存储,它在很多方面都很好。我用过DynamoDB,它在很多方面都很好。两者都是很好的表存储,但都有关于读取索引、查询和事务的限制。这有时是一个表演的阻碍。两者都需要重新配置数据和所有相关应用程序

对于您的文件存储:

  • (最便宜、最慢)将文件迁移到blob存储(Azure blob存储或AWS S3)并将其留在那里。使用S3作为文件访问的驱动器。这很慢,但很便宜
  • (性能)将EC2实例与EBS驱动器一起使用,并将文件存储在那里。访问本地文件系统上的数据。这是耐用和性能 对于关系数据,将其保留为关系数据,并将其存储在云关系数据库服务器中。(RDS+MySQL、RDS+SQL Server、SQL Azure等)


    移动到云端时,无需更改应用程序及其数据模式

    我希望将所有数据合并为一种(非关系)格式以进行查询。我认为在Azure表存储中使用这样的表结构效果最好。blob商店是否允许文件、图像和视频?或者我可以使用S3检索/查询记录类型数据(即具有温度、风等属性的天气表)。将所有数据合并为一种格式与移动到云中是不同的问题。您可以选择同时执行这两个步骤(合并+移动到云),但它们是两个不同的步骤。