Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/13.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/jsf-2/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何使用lambda python创建zip文件并上传回s3?_Python_Amazon Web Services_Amazon S3_Aws Lambda_Zip - Fatal编程技术网

如何使用lambda python创建zip文件并上传回s3?

如何使用lambda python创建zip文件并上传回s3?,python,amazon-web-services,amazon-s3,aws-lambda,zip,Python,Amazon Web Services,Amazon S3,Aws Lambda,Zip,希望大家平安快乐 我给了一个AWS任务如下 要求:一旦文件上传到s3存储桶中,它应该被压缩,并且必须上传回另一个s3存储桶 我可以使用lambda(python)完成这项任务,但它涉及大量磁盘IO。因此,我正在寻找一种解决方案,在该解决方案中,我不需要将传入的s3对象存储在/tmp/folder。众所周知,lambda提供的内存和存储空间(500MB)非常少。因此,我们希望避免这种做法 那么,有人知道如何快速压缩传入的s3文件吗?我只知道,通过s3对象的流式处理,这是可能的。但无法找到如何使用p

希望大家平安快乐

我给了一个AWS任务如下

要求:一旦文件上传到s3存储桶中,它应该被压缩,并且必须上传回另一个s3存储桶

我可以使用lambda(python)完成这项任务,但它涉及大量磁盘IO。因此,我正在寻找一种解决方案,在该解决方案中,我不需要将传入的s3对象存储在/tmp/folder。众所周知,lambda提供的内存和存储空间(500MB)非常少。因此,我们希望避免这种做法

那么,有人知道如何快速压缩传入的s3文件吗?我只知道,通过s3对象的流式处理,这是可能的。但无法找到如何使用python语言实现端到端


提前感谢。

您可以在Lambda中使用python生成器压缩s3文件,并将压缩文件放回另一个s3中,因为生成器不占用内存。

您有python生成器的参考链接吗?python生成器是否不需要将文件存储在/tmp/location?此解决方案是否也适用于大型s3文件?请浏览此链接:谢谢Narendra。事实上,我更喜欢aws和python。是否有任何一步一步的文档或链接,在这些文档或链接中,有关此解决方案以及aws lambda的所有内容都得到了正确的解释?我一定会帮助您的。再次感谢您的回复。请您指导我如何开始理解该链接中给出的代码?完成任务的下一步是什么?这称为流式处理。搜索Python zip流媒体解决方案并了解boto3客户端在
put\u object()
上的流媒体支持。