Web 如何获取网页的站点地图？

我试图分析一些页面，并获得了解其web结构所需的所有必要信息（站点地图-web页面地图，类似这样或那样的东西）

---

是否有一些在线服务或程序，我为其提供页面的URL，然后它会显示站点地图（我知道可以链接到其他页面，但如果服务可以选择只搜索到某个级别，那就太好了）

站点地图通常存在于一个文件中，位于网站的根目录下，并命名为sitemap.xml

例如：

否则，如果它不存在，您可以尝试查看名为robots.txt文件的文件（仍然位于网站的根目录下）

它可以像robots.txt中那样定义：
网站地图：

---

不幸的是，这两种可能性都不起作用。（提供类似“用户代理：*不允许：/”）的信息）如果找不到网站的站点地图，则必须使用curl之类的工具对其进行爬网。