Amazon web services AWS CLI:最大并发请求数：未超出某个点

在aws cli中增加最大并发请求时，我面临一些问题

我正在尝试最大化s3和C38XL之间的吞吐量

实例详细信息：C38：实例类型vCPU Mem（GiB）存储（GB）网络性能

c3.8x32 60 2 x 320 SSD万兆大容量

我正在从S3下载到EC2

输入描述：•S3路径：•总数据大小为20GB的存储桶。•对象文件大小：2MB•文件数量：10239•数据已完全压缩：文件包含随机字节。[使用openssl rand“$filbytes”-输出文件]

输出说明：•在/dev/shm中有一个目录，因为RAM比磁盘存储速度快得多

调用单个cp命令时：

time aws s3 cp --recursive  s3://dummy/ .

[ec2-user@ip.. ~]$ lsof -i tcp:443 | tail -n +2 | wc -l 11

我想增加并发进程，我正在使用aws配置属性来实现相同的目标：

当我把它设置为30

[ec2-user@ip-172-31-46-110 palpal]$ aws configure set default.s3.max_concurrent_requests 30

我明白了：

[ec2-user@ip-172-31-46-110 ~]$ lsof -i tcp:443 | tail -n +2 | wc -l 31 [even 32/33/34 sometimes ]

当我将其配置为30以上时，它仍停留在相同的数量

[ec2-user@ip-172-31-4]$ aws configure set default.s3.max_concurrent_requests 400

[ec2-user@ip-172-31-46-110 ~]$ lsof -i tcp:443 | tail -n +2 | wc -l 32

使用：供参考

我不确定这里发生了什么

---

任何线索都会有所帮助：）

可能取决于服务器上的核心/vCPU数量。 你查过了吗？

nproc

或

---

grep处理器/proc/cpuinfo | tail-1 | tr-dc'[0-9]'| xargs expr 1+

有解决方案吗？

[ec2-user@ip-172-31-4]$ aws configure set default.s3.max_concurrent_requests 400

[ec2-user@ip-172-31-46-110 ~]$ lsof -i tcp:443 | tail -n +2 | wc -l 32