Web 更新sitemap.xml有什么好处？

以下文本来自sitemaps.org。与爬行器工作相比，这样做有什么好处

网站地图是一个简单的方法 网站管理员通知搜索引擎 关于他们网站上 可用于爬行。在其 最简单的形式是一个XML站点地图 列出网站URL的文件 每一个都有额外的元数据 URL（上次更新时，如何更新） 通常情况下，它通常会发生变化，如何变化 它是重要的，相对于其他 网站中的URL）以便进行搜索 引擎可以更智能地爬行 网站

---

编辑1：我希望得到足够的好处，这样我就可以证明该功能的开发是合理的。目前，我们的系统无法动态提供网站地图，因此我们必须使用爬虫程序创建网站地图，这不是一个很好的过程。

好吧，就像那一段所说的，网站地图还提供关于给定url的元数据，而爬虫程序可能无法纯粹通过爬虫来推断。站点地图充当爬虫程序的目录，以便它可以对内容进行优先级排序并索引重要内容。

爬虫程序也是“懒惰”的，因此如果您给他们一个包含所有站点URL的站点地图，他们更有可能索引您站点上的更多页面

它们还使您能够对页面进行优先级排序，这样爬虫程序就可以知道页面更改的频率，哪些页面更需要保持更新，等等。这样，他们就不会浪费时间对没有更改的页面、丢失的页面或索引您不太关心的页面（以及丢失的页面）进行爬网

---

还有很多在线工具，你可以用来抓取整个网站并生成网站地图。如果你的站点不是太大（少于几千个URL），那么这些将非常有用。

站点地图有助于告诉爬虫哪些页面更重要，以及它们的更新频率。这是仅仅扫描页面本身无法发现的信息

爬虫程序对站点扫描的页面数量以及跟踪链接的深度有限制。如果你有很多不太相关的页面，同一个页面有很多不同的URL，或者需要很多步骤才能到达的页面，爬虫程序会在到达最相互关联的页面之前停止。站点地图提供了一种替代方法，可以轻松找到最相互关联的页面，而无需遵循链接和排序重复项