在给定一组bucket/键组合或一组使用Python的特定bucket键的情况下,有没有一种方法可以从S3下载多个对象?
我目前正在使用Boto3访问S3,需要一种有效的方法来访问bucket/bucket中的任意密钥集。我尝试过多线程,但它仍然非常慢。在Python中,是否有其他方法可以从S3获取多个(可能作为多部分响应)对象?我正在尝试使用正则表达式的3元组搜索S3实例。一个用于匹配存储桶,第二个用于匹配密钥,第三个用于匹配密钥的内容。这可能会产生数千个需要搜索的对象,如果每个对象都需要单独请求,甚至在多线程环境中,也可能需要花费大量时间在给定一组bucket/键组合或一组使用Python的特定bucket键的情况下,有没有一种方法可以从S3下载多个对象?,python,amazon-s3,boto3,Python,Amazon S3,Boto3,我目前正在使用Boto3访问S3,需要一种有效的方法来访问bucket/bucket中的任意密钥集。我尝试过多线程,但它仍然非常慢。在Python中,是否有其他方法可以从S3获取多个(可能作为多部分响应)对象?我正在尝试使用正则表达式的3元组搜索S3实例。一个用于匹配存储桶,第二个用于匹配密钥,第三个用于匹配密钥的内容。这可能会产生数千个需要搜索的对象,如果每个对象都需要单独请求,甚至在多线程环境中,也可能需要花费大量时间