Html 如何防止搜索引擎索引我的网站的单个页面？

我不想让搜索引擎索引我的印记页面。我该怎么做呢？

您需要一个简单的

robots.txt

文件。基本上，它是一个文本文件，告诉搜索引擎不要为特定页面编制索引。
您不需要将其包含在页面的标题中；只要它位于您网站的根目录中，就会被爬虫抓取。
在网站的根文件夹中创建，并将以下文本放入：

User-Agent: *
Disallow: /imprint-page.htm

请注意，在本例中，您将使用希望不被索引的页面（或目录）的实际名称替换

imprint page.html

---

就这样！如果你想更高级，你可以退房，或者获取更多信息。此外，您可以在网上找到免费工具，这些工具将为您生成

robots.txt

文件（例如，）。

您可以设置robots.txt文件，尝试告诉搜索引擎忽略某些目录

基本上：

User-agent: *
Disallow: /[directory or file here]

---

此外，您还可以在该页面的头部添加以下元标记

<meta name="robots" content="noindex,nofollow" />

---

创建robots.txt文件并在其中设置控件

以下是谷歌的文档：

---

如今，最好的方法是使用robots元标记并将其设置为

noindex，然后执行以下操作：

<meta name="robots" content="noindex, follow">




只需将这一行包含在
标记中即可。我之所以这么说是因为如果你使用robots.txt文件隐藏你的URL，这些URL可能是登录页面或其他受保护的URL，你不会向其他人或搜索引擎显示

我所能做的就是直接从你的网站访问robots.txt文件，并能看到你的URL是秘密的。那么这个robots.txt文件背后的逻辑是什么

好的方法是包含上面的meta标记，并保护自己不受任何人攻击。
比如说，一个机器人想要访问一个网站URL。在此之前，它首先检查并发现：
您可以明确禁止：

User-agent: *
Disallow: /~joe/junk.html

有关详细信息，请访问下面的链接
谢谢你，山姆！在其他教程旁边添加了您的链接。非常感谢！我必须在标题的某个地方包含robots.txt吗？或者仅仅把它放到网站的根目录中就足够了吗？不，你不需要在标题中包含它；仅仅把它放在你的根目录就足够了。根据这篇博客文章：这篇文章中的信息是不正确的。robots.txt文件将阻止搜索引擎对页面进行爬网，但它们仍将为页面编制索引。最好的解决方案是使用元机器人标签。请看下面的答案。你说“你需要一个robots.txt”，但其他答案清楚地表明robots.txt不是必须的。这是一个比使用robots.txt更好的解决方案。原因是，如果你打开robots.txt页面，搜索引擎甚至不会访问该页面。如果有指向该页面的链接，他们不会将其从索引中删除，因为您没有告诉他们这样做。谷歌将显示没有描述的页面，因为他们知道该页面，但不知道页面上有什么。从索引中显式删除它的唯一方法是告诉引擎，您根本不希望使用“noindex”命令显示它。如果head作为服务器端语言（如php）动态包含，这会有点问题（编码时间太长），对于所有页面都是一样的。
User-agent: *
Disallow: /~joe/junk.html