Indexing 为什么';Googlebot的索引页面会爬行吗?

Indexing 为什么';Googlebot的索引页面会爬行吗?,indexing,search-engine,web-crawler,Indexing,Search Engine,Web Crawler,三个月前,我发布了我的小型个人网站(约10页),将URL提交给谷歌,几天后谷歌机器人出现了。在过去的几周里,谷歌机器人大约每周访问我的网站两次,每隔一个页面就会爬行一次 自从Googlebot第一次爬网我的网站以来,每当我搜索site:example.comGoogle只返回我的主页。(有趣的是,必应也是如此,所以这个问题可能并不局限于谷歌。) 我用CodeIgniter建立网站主要是为了熟悉它。这真的很简单,只有几页关于我和我的项目。我没有使用任何黑帽SEO技术、JavaScript或类似的东

三个月前,我发布了我的小型个人网站(约10页),将URL提交给谷歌,几天后谷歌机器人出现了。在过去的几周里,谷歌机器人大约每周访问我的网站两次,每隔一个页面就会爬行一次

自从Googlebot第一次爬网我的网站以来,每当我搜索
site:example.com
Google只返回我的主页。(有趣的是,必应也是如此,所以这个问题可能并不局限于谷歌。)

我用CodeIgniter建立网站主要是为了熟悉它。这真的很简单,只有几页关于我和我的项目。我没有使用任何黑帽SEO技术、JavaScript或类似的东西

谷歌机器人会抓取我的网页但不给它们编制索引,可能的原因是什么

编辑: 我有一个网站管理员工具帐户。没有爬网错误,列出了内部链接,但列出的关键字仅来自我的主页。

  • 创建XML站点地图,并在谷歌网站管理员工具中“告诉”谷歌
  • 确保你的10个页面有不同的内容——因为搜索引擎可以消除内容看起来相同的情况
  • 确保从主页链接到所有其他9页。如果是,请将链接放置在
      • 创建XML站点地图,并在谷歌网站管理员工具中“告诉”谷歌
      • 确保你的10个页面有不同的内容——因为搜索引擎可以消除内容看起来相同的情况
      • 确保从主页链接到所有其他9页。如果是,请将链接放置在
      +1用于提及网站管理员工具。这是判断谷歌在索引网站时是否有问题的最可靠的方法。谷歌机器人在查找网页时没有问题。根据我的日志,它确实访问了网站上的其他页面——出于某种原因,它只是没有索引它们。(1) 好吧,如果其他页面的链接很容易被发现,这应该是不必要的,就像我的情况一样,但我想提交一个网站地图不会有什么坏处。(2) 每个页面都非常不同。(3) 我在所有页面上都有相同的导航菜单。@MiseryIndex我认为googleboot索引+9页没有任何问题,但它“认为”这些页面与主页相比没有独特的内容。所以你已经解决了:为什么我需要10页而不是1页?如果你将使用谷歌的高级搜索选项,你可以看到“显示重复结果”-尝试扩展这个。页面完全不同。显示重复的结果。。。您的意思是
      为了向您显示最相关的结果,我们省略了一些与已经显示的1非常相似的条目。如果您愿意,您可以重复搜索并包含省略的结果。
      like on this page?如果愿意,我在搜索我的网站时没有此类链接。+1用于提及网站管理员工具。这是判断谷歌在索引网站时是否有问题的最可靠的方法。谷歌机器人在查找网页时没有问题。根据我的日志,它确实访问了网站上的其他页面——出于某种原因,它只是没有索引它们。(1) 好吧,如果其他页面的链接很容易被发现,这应该是不必要的,就像我的情况一样,但我想提交一个网站地图不会有什么坏处。(2) 每个页面都非常不同。(3) 我在所有页面上都有相同的导航菜单。@MiseryIndex我认为googleboot索引+9页没有任何问题,但它“认为”这些页面与主页相比没有独特的内容。所以你已经解决了:为什么我需要10页而不是1页?如果你将使用谷歌的高级搜索选项,你可以看到“显示重复结果”-尝试扩展这个。页面完全不同。显示重复的结果。。。您的意思是
      为了向您显示最相关的结果,我们省略了一些与已经显示的1非常相似的条目。如果愿意,您可以重复搜索并包含省略的结果。
      like on this page?如果愿意,则在搜索我的网站时没有此类链接。