Seo 我如何阻止谷歌抓取我的小域名?

Seo 我如何阻止谷歌抓取我的小域名?,seo,robots.txt,google-webmaster-tools,googlebot,google-crawlers,Seo,Robots.txt,Google Webmaster Tools,Googlebot,Google Crawlers,问题是,我们正在使用比特品牌的短域名作为url缩短器。我们的品牌短域名是d.so.city 现在,每当我在谷歌上搜索site:so.city时,所有的d.so.city链接都会出现在真正的站点URL之前。我不想让这个小网址被爬网。我知道这可以通过子域名的robots.txt轻松完成,但我们无法访问子域名的robots.txt文件,因为它与bitly完全链接 我也尝试过谷歌站长的参数拦截,但也没有运气。我也查阅了一些文档,但也没有找到任何相关的内容 下面是“我的网站搜索”当前的快照: 我不希望这

问题是,我们正在使用比特品牌的短域名作为url缩短器。我们的品牌短域名是d.so.city

现在,每当我在谷歌上搜索site:so.city时,所有的d.so.city链接都会出现在真正的站点URL之前。我不想让这个小网址被爬网。我知道这可以通过子域名的robots.txt轻松完成,但我们无法访问子域名的robots.txt文件,因为它与bitly完全链接

我也尝试过谷歌站长的参数拦截,但也没有运气。我也查阅了一些文档,但也没有找到任何相关的内容

下面是“我的网站搜索”当前的快照:


我不希望这些d.so.city链接出现在谷歌搜索上。如果有人能帮上忙,我们将不胜感激

我认为在d.so.city下的每个页面都有一个无索引元标记应该可以做到这一点

要防止大多数搜索引擎web爬虫为网站上的页面编制索引,请在页面的部分中放置以下元标记:

<meta name="robots" content="noindex">

要仅防止Google web爬虫索引页面,请执行以下操作:

<meta name="googlebot" content="noindex">

如果你告诉谷歌网站管理员参数阻塞,它实际上是试图阻止它在抓取特定页面后会发现的东西


Ref:

我认为在d.so.city下的每个页面都有一个无索引元标记应该可以做到这一点

要防止大多数搜索引擎web爬虫为网站上的页面编制索引,请在页面的部分中放置以下元标记:

<meta name="robots" content="noindex">

要仅防止Google web爬虫索引页面,请执行以下操作:

<meta name="googlebot" content="noindex">

如果你告诉谷歌网站管理员参数阻塞,它实际上是试图阻止它在抓取特定页面后会发现的东西

参考: