Amazon web services 使用AWS命令行界面（CLI）从Amazon S3批量下载文件

我有一个用例，在一个AmazonS3存储桶中有大约4000万个对象。我想下载它们，处理它们，然后重新上传到另一个AmazonS3存储桶。第一个问题，由于硬盘空间不足，我无法一次下载所有的文件

我想批量下载它们。例如，我想下载100万个对象，处理它们，重新上传它们，然后从本地存储中删除它们。之后，我将下载下100万个对象并重复相同的过程

---

是否可以使用AWS CLI从Amazon S3 bucket下载文件以进行批量下载？

否，它没有“批量”的概念。也许你可以通过目录或前缀（例如

a*

，然后

b*

）来完成它？谢谢你的回答。不幸的是，我把所有东西都放在一个目录里了。所有文件都有相同的扩展名。所以甚至不能使用筛选选项。您能按名称划分它们吗，例如所有文件都以

A

开头，然后以

B

开头，等等？如果没有，您将需要编写自己的代码来创建“批处理”。您可能希望使用创建初始列表，该列表可以提供每日或每周CSV文件，列出bucket中的所有对象。