Shell 如何从列表中导出&;多线程?

Shell 如何从列表中导出&;多线程?,shell,command-line,wget,Shell,Command Line,Wget,我一直在使用它从存储在文本文件中的列表中获取大量URL: wget -i websites.txt 然而,在我看来,一次下载一个文件,然后转到下一个。我可能错了,如果是这样,请随时告诉我 但如果我想让它同时下载10或20个文件呢?这可以通过一个简单的wget命令来实现吗,还是需要更复杂的东西 顺便说一下,这些都是正在下载的非常小的文件(~80kb)。下载数以百万计的数据似乎要花费很长时间…您可以使用并行命令: parallel -a websites.txt --jobs 10 wget 使

我一直在使用它从存储在文本文件中的列表中获取大量URL:

wget -i websites.txt
然而,在我看来,一次下载一个文件,然后转到下一个。我可能错了,如果是这样,请随时告诉我

但如果我想让它同时下载10或20个文件呢?这可以通过一个简单的wget命令来实现吗,还是需要更复杂的东西


顺便说一下,这些都是正在下载的非常小的文件(~80kb)。下载数以百万计的数据似乎要花费很长时间…

您可以使用并行命令:

parallel -a websites.txt --jobs 10 wget
使用
-a
读取文件中的每一行,使用
-jobs
说出要读取的行数
并行运行,
wget
将由文件的下一行作为后缀。

您可以使用并行命令:

parallel -a websites.txt --jobs 10 wget
使用
-a
读取文件中的每一行,使用
-jobs
说出要读取的行数
并行运行,
wget
将由文件的下一行作为后缀。

这限制了wget重用连接的能力。考虑<代码> -n>代码>来解决这个问题。这限制了WGET重用连接的能力。考虑<代码> -n>代码>来解决这个问题。