Amazon web services 是否存在批量AWS S3文件验证？

检查AWS S3存储桶中是否存在多个文件的最佳/最快方法是什么

---

例如，我的本地数据库中有100k个文件元数据。我想确保它们都存在于S3桶中。我可以对特定文件执行“aws s3 ls”，但这意味着需要10万个aws请求。有更好的方法吗？

如果您想在一个命令中检索特定存储桶中的所有密钥，则可以使用此方法

aws s3api list-objects --bucket <bucket-name> --no-paginate

aws s3api列表对象——bucket——无分页

---

一旦你有了这个列表，你就可以用一个自定义代码来处理它。

如果你只是在做一个常规的审计，你可以用它来获得所有对象键和相关元数据的完整的每日转储

---

然后，您可以编写一些代码，将清单文件的内容与数据库条目进行比较。

如果您想确保本地文件位于S3上，可以尝试以下方法

您还可以查看当前有哪些文件，它支持在漂亮的树状视图中浏览S3文件

这个带有

--no paginate

的命令只给我1000个json字段值为

Truncated=True的条目。如果我在没有
--no paginate
的情况下运行该命令，那么它将返回bucket中的所有项目。