Curl 如何通过终端保存链接列表中的网页_Curl_Terminal

Curl 如何通过终端保存链接列表中的网页

curl terminal

Curl 如何通过终端保存链接列表中的网页,curl,terminal,Curl,Terminal,我有一个我想下载的网页链接列表（最好全部下载到一个txt中）到目前为止一切都很好，我只是这样做： curl -o 1.txt "http://example.com/1" curl -o 2.txt "http://example.com/2" curl -o 3.txt "http://example.com/3" ... 然后通过终端将它们组合成一个对于少量请求（最多约100个）效果良好。但现在我需要1000多个服务器，服务器的响应是“您经常访问我们的服务器。”或者“可能不使用该方法”

我有一个我想下载的网页链接列表（最好全部下载到一个txt中）

到目前为止一切都很好，我只是这样做：

curl -o 1.txt "http://example.com/1"
curl -o 2.txt "http://example.com/2"
curl -o 3.txt "http://example.com/3"
...

然后通过终端将它们组合成一个

对于少量请求（最多约100个）效果良好。但现在我需要1000多个服务器，服务器的响应是“您经常访问我们的服务器。”或者“可能不使用该方法”

是否有任何方法或程序可以简单地下载我有链接的页面的HTML？

谢谢

你试过wget吗？我试过了。服务器显示403错误：51链接后禁止。。。但是谢谢你！并尝试每X个请求添加

睡眠

？