Amazon s3 在Amazon AWS上快速访问大型数据

最近，我们开始在AmazonAWSEC2上运行一个网站服务器（使用node和mongodb）。该网站旨在对最大可达100MB的3d模型数据运行验证算法

作为一项功能，我们正在考虑为这些型号提供存储卷和管理系统。用户应在登录时收到已上载模型的列表，并能够根据需要快速重新运行算法

---

在Amazon的EC2上运行这样一个场景的最佳实现方式是什么？什么样的数据存储最适合大文件大小和快速检索文件？例如，mongo数据库中的存储是否可行/是一个好主意？

我建议您将一些通用SSD（gp2）卷连接到EC2实例（）。这样，您就可以获得价格合理的存储以及可接受的（取决于您的需要，但在您的情况下似乎已经足够）性能。如果需要更好的性能，应该将文件缓存在内存中。无论哪种方式，都应该考虑可伸缩性

---

如果您需要可伸缩性，请选择。但是它会更慢，当然也更便宜。

我建议您将一些通用SSD（gp2）卷连接到EC2实例（）。这样，您就可以获得价格合理的存储以及可接受的（取决于您的需要，但在您的情况下似乎已经足够）性能。如果需要更好的性能，应该将文件缓存在内存中。无论哪种方式，都应该考虑可伸缩性

如果您需要可伸缩性，请选择。但是它会更慢，当然也更便宜。

您可以使用桶

amazonsimplestorageservice（amazons3）是一种对象存储，它具有一个简单的web服务接口，用于存储和检索web上任何位置的任意数量的数据。其设计可提供99.99999999%的耐久性，并可在全球范围内扩展超过万亿的物体

AmazonS3将数据作为对象存储在称为“bucket”的资源中。您可以在一个bucket中存储任意数量的对象，以及写入、读取和删除bucket中的对象。对象的大小可达5 TB

你可以用水桶

amazonsimplestorageservice（amazons3）是一种对象存储，它具有一个简单的web服务接口，用于存储和检索web上任何位置的任意数量的数据。其设计可提供99.99999999%的耐久性，并可在全球范围内扩展超过万亿的物体

AmazonS3将数据作为对象存储在称为“bucket”的资源中。您可以在一个bucket中存储任意数量的对象，以及写入、读取和删除bucket中的对象。对象的大小可达5 TB

---

我认为这里最好的方法是使用EBS卷（GP2/SSD），如果您想要快速访问、低延迟的文件访问，请避免使用S3。不建议使用S3的原因是因为它是对象存储，并且没有通过近距离网络连接连接到EC2实例。Block/EBS存储更适合于需要更快处理时间的较大文件的密集型应用程序，因为它是网络连接（EC2实例）存储。

我认为最好的方法是使用EBS卷（GP2/SSD），如果您想要快速访问、低延迟文件访问，请避免使用S3。不建议使用S3的原因是因为它是对象存储，并且没有通过近距离网络连接连接到EC2实例。Block/EBS存储更适合于需要更快处理时间的较大文件的密集型应用程序，因为它是网络连接的（EC2实例）存储。

您可以查看S3 Buckets谢谢您的提示。似乎正是我们需要的！S3听起来是可行的。但是如果需要，快速重新运行算法有点奇怪。除非算法改变，否则几乎不需要重新运行任何消耗CPU处理的验证。似乎正是我们需要的！S3听起来是可行的。但是如果需要，快速重新运行算法有点奇怪。除非算法改变，否则几乎不需要重新运行任何消耗CPU处理的验证。“较慢”有点主观。最大的限制因素可能是实例本身的网络带宽，而不是S3。数据开始流动之前的周转时间将更长（S3为毫秒，EBS为微秒），但大型对象或文件的实际传输速率应具有可比性。“较慢”有些主观。最大的限制因素可能是实例本身的网络带宽，而不是S3。数据开始流动之前的周转时间将更长（S3为毫秒，EBS为微秒），但大型对象或文件的实际传输速率应具有可比性。