我在哪里可以获得SEO机器人的用户代理列表？

我正在实现一个简单的过滤器，用于过滤我的网站上有多少未注册的用户可以访问。当然，我想让SEO机器人免费访问大部分网站

我知道这太简单了。但不值得做更复杂的事情。我需要编辑一份允许使用的用户代理名称列表，为此，我需要一份机器人名称列表，从Googlebot开始（我甚至不知道这是否是Gogles web爬行机器人的官方拼写）

任何人我想链接到一个明确的资源，给出了搜索引擎优化索引机器人的名称？。我试过了，但粒度不够精细-它似乎列出了所有创建的用户代理

尝试以下列表：

---

尽管谷歌、雅虎、必应、百度、Ask和AOL的组合几乎占据了搜索引擎市场的100%。因此，我建议将爬虫用户代理添加到您的过滤器中，您真的不需要担心其余的问题。

您还应该记住避免通过搜索引擎的缓存查看您的内容，然后：

---

jwanagel:+1用于链接。正是我在寻找的..我找不到AOL机器人的用户名-你知道它是什么吗？AOL是由谷歌提供动力的，他们没有自己的爬虫。你能解释一下这个元标记的效果吗？如果你在谷歌搜索，每个结果下都有一个链接，让你看到页面的快照，谷歌缓存：现在通过这个链接，每个人都可以看到你的内容。meta标记告诉搜索引擎不要缓存页面：