Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/290.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python如何从s3下载文件,然后重用_Python_Amazon S3_Boto3 - Fatal编程技术网

Python如何从s3下载文件,然后重用

Python如何从s3下载文件,然后重用,python,amazon-s3,boto3,Python,Amazon S3,Boto3,如何从s3下载一个文件,然后重新使用,而不是每次调用端点时都继续下载 @app.route("/get", methods=['GET']) def get(): s3 = boto3.resource('s3') ids = pickle.loads(s3.Bucket('bucket').Object('file').get()['Body'].read()) ... 根据评论 由于文件很大(16GB),需

如何从s3下载一个文件,然后重新使用,而不是每次调用端点时都继续下载

    @app.route("/get", methods=['GET'])
    def get():
        s3 = boto3.resource('s3')
        ids = pickle.loads(s3.Bucket('bucket').Object('file').get()['Body'].read())
        ...
根据评论

由于文件很大(16GB),需要经常读取和更新,而不是S3,因此可以使用an来存储:

Amazon Elastic文件系统(Amazon EFS)提供了一个简单的、无服务器的、设置即忘的弹性文件系统,用于AWS云服务和本地资源

EFS提供了NFS文件系统,您可以将其同时添加到实例,甚至多个实例。您还可以将相同的文件系统装载到ECS容器和lambda函数

由于EFS提供常规文件系统,您可以直接在其中写入和读取文件。不需要像S3那样首先复制它,S3是对象存储(而不是文件系统)


值得指出的是,使用S3更方便。但是,如果这是一个问题,现在您可以通过使用刚发布的EFS来降低使用EFS的成本。

将其存储在本地文件系统中?该文件为16gb,需要每天更新。该文件用于web应用吗?Ppl从你的网站下载?这些是人工智能模型训练中的语料库和嵌入文件,该应用程序是一个非常有用的搜索,感谢你的支持help@Kelvin进展如何?