Python 3.x 如何使用goofys将s3 bucket上的文件装载到aws ec2实例中,以供aws lambda函数使用?

Python 3.x 如何使用goofys将s3 bucket上的文件装载到aws ec2实例中,以供aws lambda函数使用?,python-3.x,amazon-ec2,aws-lambda,goofys,Python 3.x,Amazon Ec2,Aws Lambda,Goofys,我已经使用Goofys(有点类似于s3fs)将一个公共s3 bucket装载到aws ec2实例,这将允许我访问ec2实例上s3 bucket中的文件,就像它们是本地路径一样。我想在aws lambda函数中使用这些文件,在python中将这些本地路径传递给aws lambda中的事件参数。鉴于AWS lambda的存储限制为512 MB,有没有办法让AWS lambda访问我的ec2实例上的文件 AWS lambda对我来说真的很有效(我正在尝试计算两个文件之间的统计相关性,这需要1-1.5秒

我已经使用Goofys(有点类似于s3fs)将一个公共s3 bucket装载到aws ec2实例,这将允许我访问ec2实例上s3 bucket中的文件,就像它们是本地路径一样。我想在aws lambda函数中使用这些文件,在python中将这些本地路径传递给aws lambda中的事件参数。鉴于AWS lambda的存储限制为512 MB,有没有办法让AWS lambda访问我的ec2实例上的文件

AWS lambda对我来说真的很有效(我正在尝试计算两个文件之间的统计相关性,这需要1-1.5秒),所以如果有人知道如何实现这一点,那就太好了

谢谢你的帮助

编辑:

在AWS lambda函数中,我使用python库pyranges,它需要文件的本地路径

在AWS lambda函数中,我使用python库pyranges,它需要文件的本地路径

您有几个选择:

  • 在调用pyranges之前,让Lambda函数首先使用将文件本地下载到
    /tmp
    文件夹
  • 可能用于模拟S3对象的文件句柄
这些“装载”S3的工具实际上只是在进行与应用程序本身相同的API调用。例如,列出一个bucket并下载一个文件。使用挂载工具的唯一好处是,它可以与需要传统本地文件系统的软件一起工作。如果您正在编写自己的代码(例如AWS Lambda函数),那么最好直接调用AmazonS3API。