Web crawler 最佳网站蜘蛛？

我正在将一堆站点移动到一个新的服务器上，为了确保我不会错过任何东西，我希望能够为程序提供一个站点列表，并让它下载其中的每个页面/图像。有什么软件可以做到这一点吗？我也可以用它来下载一些wordpress网站的副本，这样我就可以上传静态文件（我的一些WP网站从来没有更新过，所以几乎不值得建立新的dbs等）

你可能会得到很多意见。这里有一个：wget是你的工具

在unix/linux系统上，它可能已经安装。对于windows系统，请从下载

---

它是一个命令行工具，具有一系列命令行选项，用于控制它对目标网站的爬网方式。使用“wget--help”列出所有可用选项。

属于superuser.com您无法通过FTP连接到站点并以这种方式下载文件吗？如果你能做到这一点，事情就会简单得多，你就不必担心文件丢失，因为目前没有任何东西链接到它们。