Seo 网站地图应该有*每个*url吗

我有一个拥有大量（好吧，数千或上万）动态URL的站点，外加一些静态URL

理论上，由于主页上有一些狡猾的SEO链接，任何蜘蛛都可以通过蜘蛛友好的搜索来抓取站点并发现所有动态URL

有鉴于此，我真的需要担心花费精力来生成包含所有这些URL的动态站点地图索引，还是应该确保所有主要静态URL都在其中

我将以这种实际的方式产生这一点并不令人担忧——我只是质疑是否需要真正做到这一点

---

事实上，谷歌常见问题解答（是的，我知道他们不是唯一的搜索引擎！）建议在网站地图中包含可能不会被爬网发现的URL；基于这一事实，那么，如果你的网站中的每个URL都可以从另一个URL访问，那么，对于一个设计良好的网站来说，你真正需要作为网站地图基线的唯一URL肯定是你的主页吗？

在一个SO播客中，他们谈到了对你可以在网站地图中包含/提交的链接数量的限制（每页大约500页，页面限制基于pagerank？）

鉴于此，我真的需要担心吗 关于花费精力生产 动态站点地图索引，包括 所有这些URL，或者我应该简单地 确保所有主静态URL 你在里面吗

---

我的印象是，站点地图不一定是关于断开连接的页面，而是关于增加对现有页面的抓取。根据我的经验，当一个站点包含一个站点地图时，即使在显著链接到的地方，小页面也更有可能出现在谷歌结果上。取决于您站点的pagerank/入站链接等问题可能不那么严重。

如果有多种方式访问某个页面，则应为包含实际内容的每个页面选择一个主URL，并将这些URL放入站点地图。即，站点地图应包含指向实际内容的链接，而不是指向相同内容的所有可能URL

还考虑将标准元标记放在具有这个主URL的页面中，这样蜘蛛即使通过不同的动态URL也可以访问页面，也可以识别页面。

爬行器只花有限的时间搜索每个站点，因此您应该尽可能轻松地找到实际内容。站点地图可以提供很大帮助，因为您可以使用它直接指向实际内容，这样爬行器就不必查找

---

我们使用这些方法取得了相当好的效果，谷歌现在索引了我们80-90%的动态内容。

是的，这是网站地图的一个（可以理解的）难题——必须根据链接的大小或数量来分解它们。显然，如果你的站点地图镜像的数据存储很重要，那么保持这类内容的最新可能是一个相当大的负担——因此，在这种情况下，通过关注良好的链接（毕竟，页面内容和链接数量对搜索引擎排名至关重要），你应该能够避免痛苦。但是，假设这一点并避免使用网站地图，这是一场不必要的赌博吗？阅读了更多的谷歌常见问题解答后，它确实表明，只有拥有一个100%覆盖率的好网站地图，你才能从中获益。一个公平的观点也许是——我本可以包括我正在使用Asp.Net MVC并用C#编写——因此，在Asp.Net MVC中构建动态网站地图有自己的优势问题。但我认为这个问题适用于任何设计一个新网站的人，或者正在设计一个网站的人，他们正在为花多少时间和技术来构建他们的网站地图而苦恼。