ASP.Net身份验证和Googlebot

我有一个启用了表单身份验证的ASP.NET3.5网站。是否可以让Googlebot在不提示输入用户名/密码的情况下对我的网站进行爬网？

以下是一篇文章：

看看谷歌网站地图是否会导致页面出现在谷歌上会很有趣，但我怀疑这是否会起作用，因为这些页面无论如何都可能需要爬网

还有其他一些有趣的评论：

---

谷歌声称，这是不习惯的索引页面，并显示在用户上，因为他们实际上要求用户名和密码

它可以让用户选择只抓取AdSense的保护页面，这样他就可以知道要在页面上显示什么广告

其他检查是bot还是来自googlebot计算机的解决方案是不安全的，因为它们很容易被用户欺骗，也可能无法显示页面的预览或缓存

---

因此，你需要考虑你的网站结构，什么是非常重要的，什么不是，以显示页面的某些部分，如果用户没有注册，则隐藏其他部分，这样即使谷歌没有登录，谷歌也有一些东西可以索引。

你为什么要这样做？如果页面需要身份验证，执行搜索的人无论如何都无法看到它们。如果可以，您必须查找用户代理，这可能会被欺骗，使您的身份验证变得毫无意义。我们要求将某些内容移动到网站受密码保护的部分，但他们仍然希望对其进行爬网并显示在网站索引中。我非常确定，如果不使身份验证变得毫无意义，就无法做到这一点，但我想确认一下。我已经更新了我的答案-最后你不能。非常有趣，谢谢。我想我找到的链接是过时的。这是一个可能的解决方案。问题是网站中的帐户需要每90天更改一次密码，因此必须有人负责手动更改该帐户的密码。此外，安全部门还必须在为爬虫程序创建一个特殊帐户时签字，这也会打开一个安全后门，因为很多人都知道该帐户的用户名/密码。@ScottE我犯了一个错误，请再次查看我的答案。谢谢大家！这次讨论为我澄清了问题，我们将重新思考我们的方法。