Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/327.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
在给定一组bucket/键组合或一组使用Python的特定bucket键的情况下,有没有一种方法可以从S3下载多个对象?_Python_Amazon S3_Boto3 - Fatal编程技术网

在给定一组bucket/键组合或一组使用Python的特定bucket键的情况下,有没有一种方法可以从S3下载多个对象?

在给定一组bucket/键组合或一组使用Python的特定bucket键的情况下,有没有一种方法可以从S3下载多个对象?,python,amazon-s3,boto3,Python,Amazon S3,Boto3,我目前正在使用Boto3访问S3,需要一种有效的方法来访问bucket/bucket中的任意密钥集。我尝试过多线程,但它仍然非常慢。在Python中,是否有其他方法可以从S3获取多个(可能作为多部分响应)对象?我正在尝试使用正则表达式的3元组搜索S3实例。一个用于匹配存储桶,第二个用于匹配密钥,第三个用于匹配密钥的内容。这可能会产生数千个需要搜索的对象,如果每个对象都需要单独请求,甚至在多线程环境中,也可能需要花费大量时间

我目前正在使用Boto3访问S3,需要一种有效的方法来访问bucket/bucket中的任意密钥集。我尝试过多线程,但它仍然非常慢。在Python中,是否有其他方法可以从S3获取多个(可能作为多部分响应)对象?我正在尝试使用正则表达式的3元组搜索S3实例。一个用于匹配存储桶,第二个用于匹配密钥,第三个用于匹配密钥的内容。这可能会产生数千个需要搜索的对象,如果每个对象都需要单独请求,甚至在多线程环境中,也可能需要花费大量时间