Azure blob存储节流
我们正试图从我们的一个blob存储帐户中移动一些数据,但我们被阻止了 起初,我们的速度是9gbps,但不久之后,我们的速度被限制在1.1gbps 我们还开始收到错误消息,说Azure强行关闭了连接,网络超时Azure blob存储节流,azure,blob,azure-storage-blobs,Azure,Blob,Azure Storage Blobs,我们正试图从我们的一个blob存储帐户中移动一些数据,但我们被阻止了 起初,我们的速度是9gbps,但不久之后,我们的速度被限制在1.1gbps 我们还开始收到错误消息,说Azure强行关闭了连接,网络超时 是否有人经历过这种情况,或者对增加限制有任何了解?根据Azure订阅和服务限制、配额和限制的官方文档,您的场景中存在一些无法绕过的限制,如下所示 每个存储帐户的最大请求速率1:每秒20000个请求 最大出口: 对于通用v2和Blob存储帐户(所有地区):50 Gbps 对于通用v1存储帐户
是否有人经历过这种情况,或者对增加限制有任何了解?根据
Azure订阅和服务限制、配额和限制的官方文档,您的场景中存在一些无法绕过的限制,如下所示
每个存储帐户的最大请求速率1:每秒20000个请求
最大出口:
- 对于通用v2和Blob存储帐户(所有地区):50 Gbps
- 对于通用v1存储帐户(美国地区):如果启用RA-GRS/GRS,则为20 Gbps;对于LRS/ZRS 2,则为30 Gbps
- 对于通用v1存储帐户(非美国地区):启用RA-GRS/GRS时为10 Gbps,LRS/ZRS 2时为15 Gbps
单个blob的目标吞吐量:高达每秒60个MiB,或高达每秒500个请求
考虑到将数据下载到本地环境,除了网络带宽和稳定性之外,如果要以编程方式移动数据,必须计算每个blob不超过500
的最大并发请求数和不超过20000
的所有请求总数。因此,它是高并发控制的关键
如果只是通过编程在Azure内部移动数据,最好的方法是使用官方传输数据工具AzCopy
(for or)和。那么你就不需要考虑这些限制了,只是等待移动的进度。< /P>
如有任何问题,请随时通知我。我在Microsoft网站中未发现此问题每个blob的最大并发请求数不超过500,您是如何获得此信息的?