Apache 如何防止GoogleBot爬网特定页面_Apache

Apache 如何防止GoogleBot爬网特定页面

apache

Apache 如何防止GoogleBot爬网特定页面,apache,Apache,我有一个网页，其中包含许多链接，我不希望谷歌抓取。有办法吗？在HTTP根目录中创建robots.txt文件。如果您的站点位于，请将robots.txt放到您可以加载它的位置这是一个关于堆栈溢出的真正实用的网站。签出但是不要像whitehouse.gov上的白痴管理员那样，在这个文件中列出他们想保密的一切哦，还有最后一件事-不要相信它-它应该停止爬虫程序，但我不会对它提起法律诉讼你可以在你的HTTP根目录中使用robots.txt，如果你的页面是HTML，你也可以使用meta标记来停止它：

我有一个网页，其中包含许多链接，我不希望谷歌抓取。有办法吗？

在HTTP根目录中创建robots.txt文件。如果您的站点位于，请将robots.txt放到您可以加载它的位置

这是一个关于堆栈溢出的真正实用的网站。

签出

但是不要像whitehouse.gov上的白痴管理员那样，在这个文件中列出他们想保密的一切

哦，还有最后一件事-不要相信它-它应该停止爬虫程序，但我不会对它提起法律诉讼

你可以在你的HTTP根目录中使用robots.txt，如果你的页面是HTML，你也可以使用meta标记来停止它：

<meta name="googlebot" content="noindex" />

有关更多示例，请参见。

谢谢。HTTP根在哪里？我怎样才能检查它是否真的生效呢？我做了编辑并澄清了它。谷歌有一篇关于robots.txt的文章：

<meta name="googlebot" content="noindex" />