Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/288.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/visual-studio-code/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
在python中优化大文件下载_Python - Fatal编程技术网

在python中优化大文件下载

在python中优化大文件下载,python,Python,我有一个1GB的文件,我正在尝试看看我能下载多快(我有几千个文件,我最终将不得不下载)。下面是我目前下载它的方式-- 在python中下载单个文件的最快方法是什么?所有方法都将花费大约相同的时间。这里的瓶颈是互联网速度,你真的对此无能为力。如果你要以并行块的形式下载它呢?所有线程都将共享一个internet连接吗?是的,所有线程都将在同一台计算机上。以并行块的形式下载它只有当你被服务器而不是ISP限制时才有效。如果是这样的话,在这个问题上抛出多处理,并为每个进程下载一个文件 urllib.url

我有一个1GB的文件,我正在尝试看看我能下载多快(我有几千个文件,我最终将不得不下载)。下面是我目前下载它的方式--


在python中下载单个文件的最快方法是什么?

所有方法都将花费大约相同的时间。这里的瓶颈是互联网速度,你真的对此无能为力。如果你要以并行块的形式下载它呢?所有线程都将共享一个internet连接吗?是的,所有线程都将在同一台计算机上。
以并行块的形式下载它
只有当你被服务器而不是ISP限制时才有效。如果是这样的话,在这个问题上抛出多处理,并为每个进程下载一个文件
urllib.urlretrieve(url, dest)