Python 在AWS中服务大文件

Python 在AWS中服务大文件,python,mysql,amazon-web-services,nas,Python,Mysql,Amazon Web Services,Nas,作为大型系统的一部分,我正在尝试实现一项服务,该服务(除其他任务外)将向其他服务器(在Amazon上运行)提供大文件(高达300MB) 此文件服务每次需要有多台机器启动和运行,并且还有多个客户端 服务是用Python编写的,使用TornadoWeb服务器。 第一种方法是使用MySQL,但我想,由于内存消耗,我会拼命保存这么大的blob 试图查看亚马逊的EFS,但在我们地区没有 我听说了Softlas,目前正在研究它 还有什么好的选择吗?您也可以使用MongoDb,它提供了几个API,还可以使用多

作为大型系统的一部分,我正在尝试实现一项服务,该服务(除其他任务外)将向其他服务器(在Amazon上运行)提供大文件(高达300MB)

此文件服务每次需要有多台机器启动和运行,并且还有多个客户端

服务是用Python编写的,使用TornadoWeb服务器。 第一种方法是使用MySQL,但我想,由于内存消耗,我会拼命保存这么大的blob

试图查看亚马逊的EFS,但在我们地区没有

我听说了Softlas,目前正在研究它


还有什么好的选择吗?

您也可以使用MongoDb,它提供了几个API,还可以使用多部分上传将文件存储在S3 bucket中

像Cassandra这样的NoSQL数据存储呢?在AWS上,写BLOB会很快,而阅读也可能很快,这取决于你是如何构造它的。我想知道这是否是一种过度,但我会调查一下。谢谢:-)为什么不使用dynamoDB+S3?一般来说,我的方法是在数据库中存储对S3上文件的引用。在S3中保存文件需要公开文件,或者让客户端进行身份验证,没有子网验证选项,对吗?谢谢,但我们在mongodb方面有过非常糟糕的体验,即使提到它,我会被枪杀。。。