Web crawler 通过对网站进行分割来确定网站的结构

当我重构一个网站时，我喜欢计算出现有的结构，以确保在将其移植到新的导航/菜单系统时不会遗漏任何内容

我经常通过手动浏览站点或剥离站点地图列表来完成这项工作。网站地图的缺点是，出版物部分可能会列出数千个链接，然后需要手动删除这些链接

是否有任何自动工具可以在一个页面上生成网站的可视结构？

网站可视化工具可以创建网站的可视结构。 单击项目->新建，设置爬行器设置，然后单击开始按钮运行爬网

完成后，单击“可视化站点地图”选项卡的“绘制”按钮。您可以通过单击页面突出显示出站链接。使用“保存”按钮将视觉结构保存到图像文件：

但是，如果网站足够大，可视化就不适合一个打印机页面。在这种情况下，一个简单的例子可以帮助你。转到“页面和链接”选项卡，右键单击“顶部页面”表，选择“全选”，然后复制带有标题的行。然后将数据粘贴到MS Excel工作表或类似应用程序中：

---

Site Visualizer有30天的全功能试用期，因此您可以免费执行任务。

我建议使用Slickplan。您可以从头开始创建站点地图，也可以使用站点爬虫从现有网站导入并重新组织站点地图。 此外，它还集成了谷歌分析模块，使您能够显示高级指标，因此您可以选择如何最好地重新设计或重组您的网站。 此应用程序有30天的免费试用期，因此您可以查看它

我找到了关于他们的网站爬虫工作原理的视频教程：

干杯