Seo 站点地图生成策略

我有一个巨大的网站，有超过500万个url

---

我们已经发布了pagerank 7/10。问题是，由于有500万个url，而且由于我们每天添加/删除新的url（我们添加±900个，我们删除±300个），google的速度不够快，无法对所有url进行索引。我们有一个巨大而密集的perl模块来生成这个通常由6个站点地图文件组成的站点地图。当然，谷歌添加所有URL的速度还不够快，特别是因为通常我们每天都会重新创建所有这些网站地图并提交给谷歌。我的问题是：什么是更好的方法？即使我知道谷歌无法处理，我是否真的愿意每天向谷歌发送500万个URL？或者我应该只发送不会更改的永久链接，谷歌爬虫会找到其余的链接，但至少我会在谷歌有一个简明的索引（现在我的索引从5000.000个URL中只有不到200个）

你为什么不每次将你的网站地图与前一个网站地图进行比较，然后只向谷歌发送已更改的URL

立即删除大量索引站点有什么意义？ 对于搜索引擎及其用户来说，临时页面在被处理后是毫无价值的。所以我倾向于让搜索引擎爬虫决定一个页面是否值得索引。只需告诉他们将保留的URL。。。并实现一些列表页面（如果还没有），这样可以更容易地对页面进行爬网

---

下面的注释：6个站点地图文件用于5m URL？另外，一个站点地图文件不能包含超过50k个URL。

当URL更改时，您应该注意301状态下的工作是否正常（永久重定向）

编辑（细化）：

---

不过，您应该尝试使URL模式变得稳定。您可以使用301进行重定向，但维护大量重定向规则很麻烦。

如果您每天删除这么多URL，那么就可以了。。为什么谷歌要索引它？我已经做了。问题是我们也必须删除URL。如果你发送的URL已经不存在了，我认为谷歌会聪明地删除这些URL。每个站点地图项目都应该包含一个lastmod时间戳，所以我不明白为什么谷歌在过滤那些自上次网站地图被索引以来没有改变的内容时会遇到问题。在我看来，最初的反对意见似乎是提交给谷歌的URL列表的大小，不是吗？也许根本就没有问题。你把它分成一个指向N个文件的站点地图索引，每个文件都有50k URL。谁说这些页面马上就被删除了？考虑一下易趣网拍卖项目有7天的使用寿命——用搜索引擎来索引是不是一个坏主意？”拉尔斯说得对，但是易趣网在拍卖结束后没有删除拍卖页面（至少它们被保存了更长的时间）。在搜索引擎中单击易趣结果时，我从未遇到过404。在我的情况下，这是一个求职网站。“工作机会”TTL为1-9周。我认为我的问题可以与ebay或odesk这样的网站相比。他们是否会在网站地图中添加“短期优惠”？正如我所见，奥德克做到了啊，好吧，9周是不同的，但我从来没有包括1周。但是，如果你确切地知道一个页面将存在多长时间，你可以只包括那些将持续4周以上的页面？对于其余部分，可爬行的分发服务器页面就足够了。有了PR 7，爬虫程序肯定会在短时间内抓取你的页面。