Linux Wget不';对等方重置连接后,请不要重试
我经常使用Linux Wget不';对等方重置连接后,请不要重试,linux,wget,gnu,download,Linux,Wget,Gnu,Download,我经常使用wget下载大型(>100GB)文件。通常,它工作正常,但我也经常遇到如下连接问题: ... 50449750K .......... .......... .......... .......... .......... 29% 1.31M 1h44m 50449800K .......... .......... .......... .......... .......... 29% 12.8M 1h44m 50449850K .......... .......... ....
wget
下载大型(>100GB)文件。通常,它工作正常,但我也经常遇到如下连接问题:
...
50449750K .......... .......... .......... .......... .......... 29% 1.31M 1h44m
50449800K .......... .......... .......... .......... .......... 29% 12.8M 1h44m
50449850K .......... .......... .......... .......... .......... 29% 1.27M 1h44m
50449900K .......... .......... .......... .......... .......... 29% 3.90M 1h44m
50449950K .......... .......... .......... .......... .......... 29% 10.5M 1h44m
50450000K .......... .......... .......... .......... .......... 29% 11.8M 1h44m
50450050K .......... .......... .......... .......... .......... 29% 1.35M 1h44m
50450100K .......... .......... .......... .......... .......... 29% 1.34M 1h44m
50450150K 29% 928G=44m44s
2018-08-16 11:48:55 (18.4 MB/s) - Read error at byte 51660954098/172689731772 (Connection reset by peer).
我开始下载了
wget --no-check-certificate -O /path/to/out.txt -c "https://XXX.s3.amazonaws.com/XXX"
我知道可能会发生连接问题,但我认为wget
会再次尝试下载文件吗?为什么这里没有发生这种情况?
例如,显示对等方重置连接后重试的wget
输出
完整上下文:我实际上是从这样的Python脚本运行这个命令
shouldContinue = "-c"
wget = 'wget --no-check-certificate -O {outputPath} {shouldContinue} "{url}"'.format(
outputPath=outputPath,
shouldContinue=shouldContinue,
url=url
)
proc = subprocess.Popen(wget, shell=True)
proc.wait()
用于编程问题,而不是关于使用或配置Linux及其应用程序的问题。或者是回答类似问题的好地方。它是否可能达到默认重试次数限制20次?您可以使用
--trys
选项增加尝试次数。看@Barmar我应该移动这个吗?我很乐意这样做,但这实际上是一个编程问题,关于编写在专业环境中使用的代码。@Barmar我不这么认为。没有证据表明wget
在输出中打开了另一个连接。如果问题是关于使用什么选项使wget
自动重试,则这不是编程问题。如果是关于编写自己的代码进行重试,那么这是一个编程问题。但是在这种情况下,您需要发布您尝试的代码,并解释您遇到的问题。
$ wget --version | head -1
GNU Wget 1.14 built on linux-gnu