Amazon web services 可以为aws S3批处理作业提供通配符

Amazon web services 可以为aws S3批处理作业提供通配符,amazon-web-services,amazon-s3,Amazon Web Services,Amazon S3,我想运行S3批处理作业。 要做到这一点,S3需要一个清单(*.csv),告诉它要迭代哪些对象。 我的桶里有12亿个物体。 但是,我不想制作一个包含12亿行文本的CSV文件 我的清单文件(*.csv文件)中是否可以有一个通配符,告诉它遍历bucket中的所有对象 i、 e 不,据我所知,您不能指定“所有对象”。但是,您可以提供AmazonS3库存报告 我怀疑您不能指定“所有对象”的原因正是因为存在包含数十亿个对象的bucket,S3批处理枚举它们的时间非常长。此外,如果在批处理开始后将对象添加到b

我想运行S3批处理作业。
要做到这一点,S3需要一个清单(*.csv),告诉它要迭代哪些对象。
我的桶里有12亿个物体。
但是,我不想制作一个包含12亿行文本的CSV文件

我的清单文件(*.csv文件)中是否可以有一个通配符,告诉它遍历bucket中的所有对象

i、 e

不,据我所知,您不能指定“所有对象”。但是,您可以提供AmazonS3库存报告


我怀疑您不能指定“所有对象”的原因正是因为存在包含数十亿个对象的bucket,S3批处理枚举它们的时间非常长。此外,如果在批处理开始后将对象添加到bucket中,那么行为应该是什么?如何检测它们?客户如何知道哪些对象已处理,哪些未处理?

谢谢,是的,我知道库存报告。我想你会的,但只是检查一下。不幸的是,我认为你想要的答案并不存在。
mybucket,*