Php 显示人类登录屏幕，但允许机器人索引

目前我正在WordPress上制作一个Pinterest克隆

我想知道当你必须登录才能看到pin屏幕时，Pinterest是如何通过搜索引擎将他们的网站编入索引的

因此，我需要一个解决方案，用户必须登录到该网站，但搜索引擎仍然可以在不登录的情况下索引所有内容。这是技术上的伪装吗

---

有什么想法吗？

您可以在脚本中使用反向DNS查找来实现这一点。方法本身。使用PHP，您可以使用。

最快的方法是检查用户代理字符串。详细名单载于

---

如果你尝试Leonard建议的DNS方法，你会发现它非常慢。有些IP甚至没有有效的反向查找。该页面建议反向查找，仅用于验证用户代理字符串中声称为googlebot的请求的来源。在你大受欢迎之前，你不应该担心人们入侵他们的浏览器（假装是谷歌机器人）。

你能发布一个由谷歌编目的Pinterest示例链接吗？也许这个Q更合适。这不是一个检测他们是否是谷歌机器人的好方法。这是为了验证他们是谷歌机器人。所以你会很高兴有人访问你的网站而没有登录/通行证，仅仅因为它不受欢迎？不要被愚弄到认为人们“入侵他们的浏览器”在大多数情况下是一个简单的浏览器设置。第1步是只查看用户代理头。即使是《纽约时报》在建立付费墙时也只实施了第一步。我不太喜欢人们绕过它，它只是为了提示新用户注册，我知道用户代理方法，也许最好使用cookie，即如果他们在设置cookie之前登录，如果没有cookie设置，则显示登录。但我仍然有搜索引擎的问题，可能使用会话id或cookie？将他们读了吗？有没有一种方法可以在不列出所有用户代理字符串的情况下检测任何搜索机器人？你不能给机器人提供cookies——实际上有数百台服务器在为你的站点编制索引，而且它们没有协调那么多。没有完美的方法来检测机器人，但用户代理（可选反向IP）是最好的。