Html 如果我不'；我不想我的网站被搜索引擎索引？

您必须在HTML中添加什么标记才能防止页面被搜索引擎索引？

使用robots.txt文件限制索引：

将此标记添加到您不想索引的页面的HTML

元素中：

<meta name="robots" content="noindex, nofollow">

另见：

---

这里的其他答案都是微妙的错误。不幸的是，答案要复杂得多
一些搜索引擎支持HTMLNoIndex标记，但并非所有搜索引擎都支持。特别是，必应和谷歌做到了，但其他一些公司没有做到（）。根据搜索引擎是否支持noindex，您必须采取不同的方法
对于那些支持noindex（谷歌、Bing）的用户。。 对于这些，您需要在HTML中包含noindex标记，如下所示：

<meta name="robots" content="noindex, noodp, noarchive, noimageindex" />

请注意，还有其他“不”的东西。我将把查找它们作为练习留给读者
除此之外，您必须不要在robots.txt文件中阻止Google和Bing，否则他们将永远看不到您的

noindex

元标记，这将是无用的。这是很重要的，因为谷歌和Bing认为NoQueo的意思是“根本不显示这个结果，永远”，而RoTr.TXT则意味着“如果有人在这里链接，你可以显示它，但不要爬行”。有个问题：如果谷歌或Bing知道一个被机器人阻挡的页面，他们会在结果中显示它，而不知道它的内容，也不会对它进行爬网这就是为什么你必须不要用机器人阻止Google和Bing，而必须用noindex阻止它们
对于那些不支持noindex（互联网档案，Alexa，Blekko，百度）。。。 这些，您必须在robots.txt文件中进行简单的阻塞。您也可以包含noindex标记，但它不会有任何效果，因为页面将永远不会被爬网
奖金科
• 如果你想获得额外积分，你应该为谷歌和必应设置，以便他们能够尽快发现你的内容（然后阻止它！）
• 如果您有二进制内容（如图片、PDF等），则需要使用x-robots HTTP头阻止这些内容。有关更多详细信息，请参阅 为什么这是我的个人项目写这样长的答案。。。

  ---

  我经营着一个拥有700万份法律文件的网站。有些人有个人信息，不能进入搜索引擎。我对这个问题的研究比任何人都要多，robots.txt的神话如此强烈，这让我感到沮丧。
  根据我的经验，这并不能正常工作，因为如果谷歌被阻止通过robots.txt爬行，它将永远无法发现noindex元标记。你必须做一些与直觉相反的事情，邀请谷歌使用你的站点地图对你的站点进行爬网，然后在每一个页面上都用noindex标记。

  <meta name="robots" content="noindex, noodp, noarchive, noimageindex" />