Azure '的下限;并发操作数';参数和';所需的最小网络带宽';抄袭

Azure '的下限;并发操作数';参数和';所需的最小网络带宽';抄袭,azure,azcopy,Azure,Azcopy,我们正在尝试实现一个围绕AzCopy的包装器,它将在低网络带宽环境中运行。但是,我们无法找到AzCopy正常运行所需的最小带宽以及并发操作数参数是否有下限的明确信息 非常感谢您的帮助 将环境变量AZCOPY_CONCURRENCY_值设置为“AUTO”。这在低带宽的情况下会有很大帮助,因为它会导致AzCopy使用比正常情况少得多的连接。(这通常足以解决低带宽问题) 您还可以通过在命令行中添加类似这样的内容,为AzCopy提供一个明确的速度上限:--cap mbps 10 (为您的环境选择一个合

我们正在尝试实现一个围绕AzCopy的包装器,它将在低网络带宽环境中运行。但是,我们无法找到AzCopy正常运行所需的最小带宽以及并发操作数参数是否有下限的明确信息

非常感谢您的帮助

  • 将环境变量AZCOPY_CONCURRENCY_值设置为“AUTO”。这在低带宽的情况下会有很大帮助,因为它会导致AzCopy使用比正常情况少得多的连接。(这通常足以解决低带宽问题)

  • 您还可以通过在命令行中添加类似这样的内容,为AzCopy提供一个明确的速度上限:--cap mbps 10 (为您的环境选择一个合理的数字)

  • 如果(且仅当)带宽较低,则每个AzCopy作业中都有多个文件,并且需要使用AzCopy作业恢复来恢复失败的作业,然后设置环境变量AzCopy_CONCURRENT_files。如果文件很大,请将其设置为1;如果文件很小,请将其设置为4或8左右。(默认值为64。减少该值意味着每个失败的作业在失败时有更少的正在运行的文件,这在恢复时很好)

  • 至于更改块大小。我从来没有真正推荐过。有一个--block size mb参数。我认为较小的块大小可以使操作在重试时更可能成功。但上述步骤通常有效,因此通常不需要更改块大小。而且,对于大于10 GB的文件,您实际上无法强制使用尽可能小的大小,因为如果这样做,您将超过Azure的块计数限制。因此,让AzCopy自动设置块大小可能更容易

    AzCopy在使用可用带宽方面做得很好。即,物理安装带宽中尚未被其他流量使用的部分。为了便于计算,在网络速度高达5Gbps的情况下,我建议您假设它将使用90%的可用带宽。如果您的磁盘和网络速度比这还要快,那么您需要至少并行传输两个文件以填充网络(因为我们目前通常无法在单个文件上获得超过5 Gbps的速度)