Python如何从s3下载文件,然后重用
如何从s3下载一个文件,然后重新使用,而不是每次调用端点时都继续下载Python如何从s3下载文件,然后重用,python,amazon-s3,boto3,Python,Amazon S3,Boto3,如何从s3下载一个文件,然后重新使用,而不是每次调用端点时都继续下载 @app.route("/get", methods=['GET']) def get(): s3 = boto3.resource('s3') ids = pickle.loads(s3.Bucket('bucket').Object('file').get()['Body'].read()) ... 根据评论 由于文件很大(16GB),需
@app.route("/get", methods=['GET'])
def get():
s3 = boto3.resource('s3')
ids = pickle.loads(s3.Bucket('bucket').Object('file').get()['Body'].read())
...
根据评论
由于文件很大(16GB),需要经常读取和更新,而不是S3,因此可以使用an来存储:
Amazon Elastic文件系统(Amazon EFS)提供了一个简单的、无服务器的、设置即忘的弹性文件系统,用于AWS云服务和本地资源
EFS提供了NFS文件系统,您可以将其同时添加到实例,甚至多个实例。您还可以将相同的文件系统装载到ECS容器和lambda函数
由于EFS提供常规文件系统,您可以直接在其中写入和读取文件。不需要像S3那样首先复制它,S3是对象存储(而不是文件系统)
值得指出的是,使用S3更方便。但是,如果这是一个问题,现在您可以通过使用刚发布的EFS来降低使用EFS的成本。将其存储在本地文件系统中?该文件为16gb,需要每天更新。该文件用于web应用吗?Ppl从你的网站下载?这些是人工智能模型训练中的语料库和嵌入文件,该应用程序是一个非常有用的搜索,感谢你的支持help@Kelvin进展如何?