Ftp wget在大下载量下的性能，为什么需要这么长时间才能开始下载？

我将使用wget从服务器下载相当大的数据量（~50-100gb，几千个文件）。这将是相当关键的时间，所以我想问一些关于性能的问题

1） 当运行wget时，似乎有一个很长的初始阶段，没有下载发生，然后它突然开始。这个阶段似乎比实际下载要长得多。在wget过程开始时会发生什么，有没有办法加快它

在此阶段没有网络活动，wget在

top

上似乎不太活跃。它是否与wget的

-erobots=off

选项有关

2） 我将要下载的文件结构如下：

.../main_dir/
    000001/
        file1
        file2
        ...
    000002/
        ...
    ...

带有

main_dir

的总容量约为50-100GB。但是，如果我尝试使用如下命令递归下载

main\u dir

：

wget -q -nH --cut-dirs=6 -r --level=7 -l0 -c -N -np -R 'index*' -erobots=off https:.../main_dir/

它不起作用（只是挂在那里）。这是因为单个wget命令获取的文件大小有限制吗？因为如果

main\u dir

包含约10GB的数据，则相同的命令也会起作用

---

另外，在尝试从服务器下载100GB时，是否有其他方法或任何特殊技巧

如果有人还在寻找答案，下面是我从那以后学到的。在开始时确实有一个缓慢的索引步骤，这可以通过使用

lftp

和镜像站点来避免：

lftp -e "mirror path/to/dir/; quit" site.url

这要快得多，而且还支持多流下载（请参阅文档），最终将我的下载时间从~12-24小时减少到~1小时（对于非常大的传输）