Bash脚本将单个文件从一个S3存储桶复制到另一个并行存储桶100次

我想创建一个shell脚本，它应该能够将一个2GB大小的文件从一个AWS S3 Bucket并行复制到另一个AWS S3 Bucket 100次

#!/bin/bash 
FILES="xxx.csv" 
TABLES="table1 table2 table3 table4 table5" 
SOURCE="s3://SourceBucket" 
TARGET_PREFIX="s3://TargetBucket/" 
echo "Uploading from $SOURCE" 
for 
table in $TABLES 
do 
echo "Table: $table" 
for file in $FILES 
do TARGET="$TARGET_PREFIX/$table/$TARGET_PART" 
echo "Uploading $file to INGEST Bucket" 
aws s3 cp $SOURCE/$file $TARGET --sse "AES256" 
done 
done

---

您的目标似乎是测量给定Amazon EC2实例的网络性能。您可以利用其他人创建的工具，而不是自己编写

如果您希望测量同一VPC中两个Amazon EC2实例之间的带宽，可以使用

iperf

有关详细信息，请参阅：

如果您希望度量AmazonEC2和AmazonS3之间的性能，可以使用

---

有关此工具的Reddit讨论，请参阅：

脚本中存在语法错误。您需要将

for

指令与参数放在同一行上。用于检查Bash中的语法错误。此外，您是否对此脚本有特定问题？难道它就是无法运行？它是否显示错误的输出？您是否有特定的错误消息？脚本运行正常，但它以递归模式运行，并以顺序方式将源中存在的文件数复制到其他bucket。我希望将所有文件并行复制以进行维护，如果它们是唯一的单个文件100实例，则应开始将所有文件一起复制到目标存储桶，而不是顺序复制。是否要将sam文件从同一源复制100次到同一目标？或者你想复制不同的文件？不清楚你想完成什么。编辑Q以显示系统的开始状态，然后显示系统的最终状态（与复制问题相关）。您不需要显示所有100个副本，只需要一些符号，如

file。。。文件…

。不要在评论中回答，请更新您的Q。祝你好运