使用LinuxWget标签抓取网站

使用LinuxWget标签抓取网站,linux,wget,Linux,Wget,有一些网站——www.elections.am/votersreg 我想知道如何使用LinuxWget标签获取该网站中的全部信息? 谢谢您可以使用wget-r或安装一个名为“httrack”的程序,并使用该程序将url镜像到文件夹另一个答案建议使用“wget-r”,这可能对您有用。然而,正如你的问题所述,为了更好地“获取本网站的全部信息”,我认为“wget--mirror”和“wget--mirror--convert links”可能是更好的解决方案。-r选项默认为5级递归,其中--mirro

有一些网站——www.elections.am/votersreg 我想知道如何使用LinuxWget标签获取该网站中的全部信息?
谢谢

您可以使用
wget-r
或安装一个名为“httrack”的程序,并使用该程序将url镜像到文件夹

另一个答案建议使用“wget-r”,这可能对您有用。然而,正如你的问题所述,为了更好地“获取本网站的全部信息”,我认为“wget--mirror”和“wget--mirror--convert links”可能是更好的解决方案。-r选项默认为5级递归,其中--mirror提供无限级递归。--convert links选项将根据需要转换下载文档中的链接,使其适合本地浏览(如果这是您的目标的话)


在这里,我会注意“无限递归”方面。这可能会失控,因此您可能希望监视下载进度。您还可以使用--level=depth选项显式定义递归的深度。

引用“命令”可能是一种奇怪的方式?如果您想做一些很酷的事情,可以使用perl和嵌入的LWP::Simple加载站点,如果您需要更多的智能,perl还包含一些www库来输入内容并提交。