Indexing 如何检查googlebot是否会索引给定的url？

我们正在做一个白标签网站，它不能被谷歌索引

有人知道一个工具来检查谷歌机器人是否会索引一个给定的url吗

我已经把

放在了所有页面上，所以它不应该被编入索引——但是我宁愿通过测试它来获得110%的确定度

我知道我可以使用robots.txt，但是robots.txt的问题如下： 我们的主站点应该被编入索引，它与白标签站点在IIS（ASP.Net）上的应用程序是相同的——唯一的区别是url

我无法根据传入的url修改robots.txt，但我可以从我的代码隐藏向所有页面添加元标记。

您应该向站点添加元标记

然而，防止搜索引擎索引站点的唯一完美方法是要求身份验证。（一些爬行器忽略Robots.txt）

编辑：您需要为Robots.txt添加一个处理程序，以根据主机头提供不同的文件。
您需要配置IIS以通过ASP.Net发送Robots.txt请求；确切的说明取决于IIS版本。

谷歌网站管理员工具（）将（不允许您上传网站地图）对您的网站进行测试爬网，并告诉您他们爬网了什么，对某些查询的评分如何，以及他们将爬网什么和不爬网什么

---

测试爬网不会自动包含在谷歌搜索结果中，不管怎样，如果你试图从谷歌窥探的眼睛中隐藏敏感数据，你不能单靠这一点：不管发生什么，都要在火线上进行一些身份验证。

robots.txt的问题如下：我们的主站点应该被索引，它与白标签站点在IIS（ASP.Net）上的应用程序相同——唯一的区别是url。我无法根据传入的url修改robots.txt，但我可以从代码隐藏中向所有页面添加元标记。您可以使用ASP.Net创建动态robots.txt。您还可以使用mod_rewrite（或IIS上的类似内容）根据当前HTTP_主机为不同的robots.txt提供服务。但是如前所述，robots.txt无论如何都不安全，因为一些爬行器忽略了它。的确，我可以设置IIS通过ASP.Net发送robots.txt-但是集群中有相当多的服务器，并且经常更改这些服务器-这将是一场维护噩梦。我将坚持元标记：-）它不是隐藏敏感信息，只是为了避免重复内容。谢谢，这正是我所需要的：-）就像我上面提到的，我不是想隐藏敏感数据，我只是想避免重复内容。是的，白标签网站。一个有趣的概念。事实上，这也是我们的第一个：）