Web crawler 谷歌搜索和受限内容？

如果一个网站有一个如果没有人登录就看不到的内容，那么谷歌怎么看呢

该页面是一个电子商务、受限访问（用户必须登录才能查看产品）页面；这样谷歌就看不到这些产品了

---

处理此问题的正确策略是什么？

您可以使用提供的用户代理标题来检测Google机器人是否正在访问您的站点，并将其作为登录的普通用户进行处理。这在phpBB之类的程序中实现（在该程序中作为一个特殊的可见性选项）

---

该解决方案的缺点是，您不能依赖提交的用户代理标题，因为它很容易将精心编制的标题发送到站点，使您看起来像谷歌机器人（有一些扩展，例如为Firefox提供此类功能）。

对于谷歌Adsense，这个问题可能是有意义的。谷歌提供的网站认证功能仅此而已：请参见-

你可以向谷歌提供用户名和密码，谷歌机器人可以抓取你的受保护页面-，这样当访问者在该页面上时，它可以更好地为目标广告服务

另外-如果这不是预期的目的，那么请记住，向谷歌提供不同的内容与向没有用户名和密码的用户提供的内容是明显错误的。

---

想象一下，你在谷歌上搜索了一些东西，当你点击第一个链接时，网站上出现了一个注册页面，没有有用的信息

谷歌只看到用户在没有登录的情况下看到的东西。显示不同内容是违反他们的政策的。有没有什么策略让谷歌知道这是一个电子商务网站？这里的问题是什么？你想让谷歌为限制区域编制索引还是阻止它这样做？不，我想让谷歌知道这是一个没有回答这个问题的电子商务网站。谷歌应该如何处理这些信息？我使用TrnADO（Python），是的，这是个好主意，因为我这样做是为了捕捉用户代理并忽略一些僵尸工具，所以我可以把来自谷歌BOTS的用户看作注册的用户系统，但这是我发现访问页面和限制服务器请求的唯一策略。（因为只有注册用户才能访问，所以我可以想象有多少请求）因为在阿尔及利亚，带宽是有限的。如果目的只是获取信息，那么你可以使用谷歌分析——它有详细的报告，甚至是免费版本。啊，谢谢，所以我会这么说，因为我想做的只是让谷歌知道这个页面是一个电子商务网站。