Search Sitemap.xml或Sitemap.html

我正在开发一个web应用程序。我想使用站点地图文件将站点提交给网络爬虫

有很多方法可以做到这一点

• 使用sitemap.xml
• 使用sitemap.html
• 使用urlist.txt
• 使用压缩的站点地图文件

我们所需要做的就是在应用程序的根目录中添加这些文件中的一个

---

我的问题是，这些选项中哪一个好用？

我会选择这里定义的xml站点地图

Html站点地图更倾向于用户导航，而urlist.txt似乎是一种提供雅虎链接的老方法

上述网站上定义的格式的XML站点地图是由Google、Yahoo！微软和微软都得到了这三家公司的认可

其他的不会造成任何伤害，但我相信最大的好处将来自xml站点地图

至于压缩，这取决于你，如果你想节省你的带宽，那么gzip它，但请记住，它必须不大于10mb时，解压缩