Seo 连接在一起>；10万页没有得到搜索引擎优化惩罚

我正在制作一个网站，它将审查互联网上数十万其他网站的隐私政策。它的初始内容基于我在50亿页的web转储中的运行，并带有一个脚本，以确定某些特征（例如，“出售你的个人信息”）

根据报告：

搜索引擎倾向于在任何给定页面上只抓取大约100个链接。 这种宽松的限制对于抑制垃圾邮件和节约资源是必要的 排名

我想知道什么是一个聪明的方法来创建一个没有孤立页面的导航网站，但仍然可以避免他们所说的SEO惩罚。我有一些想法：

• 创建按字母顺序排列的页面（或googlesitemap.xml），比如“以Ado*开头的站点”。例如，它会链接到“Adobe.com”。这个，或者任何其他毫无意义的页面分割，似乎有点做作，我想知道谷歌是否会不喜欢它
• 使用元关键字或描述进行分类
• 找到一些方法来应用更有趣的类别，例如地理类别或基于内容的类别。我在这里担心的是，我不知道如何才能将这些类别全面应用到这么多的网站上。我想如果需要，我可以编写另一个分类器来尝试分析爬网页面的内容。听起来这本身就是一项大工作
• 使用DMOZ项目帮助对页面进行分类

维基百科和StackOverflow通过允许用户对所有页面进行分类或标记，显然很好地解决了这个问题。就我而言，我没有那种奢侈，但我想找到最好的选择

---

这个问题的核心是谷歌如何应对不同的导航结构。它会惩罚那些以程序化/无意义的方式创建网页的人吗？或者，只要所有内容都通过链接连接，它就不在乎了？

谷歌PageRank不会因为你在一个页面上有>100个链接而惩罚你。但是在PageRank算法中，超过某个阈值的每个链接的值/重要性都会降低

引用SEOMOZ和Matt Cutts：

你会受到处罚吗？

在我们深入研究之前，我想明确指出，100链接 限制从来都不是一种处罚情况。在2007年8月的一次采访中， 兰德引用马特·卡茨的话说：

“将链接数保持在100以下”在技术文档中 指南部分，而不是质量指南部分。这意味着 如果你的网页上有101或102个链接，我们不会删除网页 页把这更多地看作是一条经验法则

当时，很可能 谷歌在某一点之后开始忽略链接，但最坏的情况是 这使得那些100后的链接无法通过PageRank。页面本身 不会被取消索引或处罚

所以真正的问题是如何让谷歌认真对待你的所有链接。您可以通过生成一个供Google爬行的XML站点地图（您可以拥有一个静态sitemap.XML文件，也可以动态生成其内容）来实现这一点。您将需要阅读谷歌网站管理员工具帮助文档中的部分

正如页面上的链接过多是一个问题一样，XML站点地图文件中的链接过多也是一个问题。您需要做的是对XML站点地图进行分页。Jeff Atwood谈到StackOverflow如何实现这一点：。杰夫还讨论了同样的问题

---

同样，这个概念也适用于。

您对划分链接的不同方法有何看法。谷歌会在意某些部门比其他部门更有意义吗？我们从未体验过一种排序顺序比另一种排序顺序更有效。只需遵循谷歌的指导原则，即每个站点地图文件不超过10MB，每个文件不超过50000个URL。顺便说一句，你可以告诉谷歌sitemap.xml文件中每个链接的优先级。