Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon s3 AWS S3:在bucket中批量移动文件_Amazon S3 - Fatal编程技术网

Amazon s3 AWS S3:在bucket中批量移动文件

Amazon s3 AWS S3:在bucket中批量移动文件,amazon-s3,Amazon S3,在S3存储桶中,我有许多文件(数百万)分布在许多文件夹(数十万)周围,我需要根据自定义映射重命名所有文件夹 我知道没有重命名方法,所以我必须复制和删除。目前,我可以通过在所有对象上循环并使用新前缀进行复制来实现这一点,但这是一种降低速度的方法 我想我想以某种方式执行批量操作,但我找不到这样做的方法。aws s3 mv命令是否有帮助 若要查看它是否会奏效,请先使用dryrun进行尝试: aws s3 mv s3://bucketname/the/original/path/ s3://bucket

在S3存储桶中,我有许多文件(数百万)分布在许多文件夹(数十万)周围,我需要根据自定义映射重命名所有文件夹

我知道没有重命名方法,所以我必须复制和删除。目前,我可以通过在所有对象上循环并使用新前缀进行复制来实现这一点,但这是一种降低速度的方法


我想我想以某种方式执行批量操作,但我找不到这样做的方法。

aws s3 mv命令是否有帮助

若要查看它是否会奏效,请先使用
dryrun
进行尝试:

aws s3 mv s3://bucketname/the/original/path/ s3://bucketname/the/new/path/ --recursive --exclude "*" --include "*whatever_common_part_of_name*.*" --dryrun

这可能会有所帮助,但在本例中,我需要根据文件名将文件移动到不同的路径,因此单个move命令没有多大帮助(如果我没有记错的话,我最终运行了一个脚本来逐个移动文件)