Seo 401错误是个好选择吗？

在我的一个网站上，有很多限制页面，只有登录的用户才能使用，对于其他所有人，它会输出一个默认的“你必须登录…”视图

问题是,；这些页面中有很多都是在Google上以“未登录”视图列出的，当列表中80%的页面都有相同的标题和描述/预览时，这看起来非常糟糕

和我的默认未登录视图一起发送401未经授权的头是一个好选择吗？这会阻止谷歌（和其他引擎）索引这些页面吗

谢谢

---

（如果你有另一个（更好的？）解决方案，我很想听听！）

使用robots.txt告诉搜索引擎不要索引未登录的页面

前

---

使用robots.txt告诉搜索引擎不要索引未登录的页面

前

---

401 Unauthorized

是需要用户身份验证的请求的响应代码。因此，这正是您想要并且必须发送的响应代码

---

编辑：您以前的建议，响应代码

403

，是针对身份验证不起作用的请求，例如禁用目录浏览。

401 Unauthorized

是针对需要用户身份验证的请求的响应代码。因此，这正是您想要并且必须发送的响应代码

---

编辑：您之前的建议，响应代码

403

，是针对身份验证没有任何区别的请求，例如禁用目录浏览。

以下是谷歌机器人理解和建议的状态代码。

---

在您的情况下，HTTP 403将是正确的选择。

以下是谷歌机器人理解和建议的状态代码。

---

在你的情况下，HTTP 403是正确的选择。

我不太了解SEO，但你可以尝试使用网站地图告诉搜索引擎哪些页面需要爬网/它们的重要性。我不太了解SEO，但你可以尝试使用网站地图告诉搜索引擎哪些页面需要爬网/它们的重要性。哦，忘了401。编辑了我的问题。哦，忘了401。编辑了我的问题。是的，这就是我目前的工作。我只是想得到一些关于这个方法的反馈，因为它会让事情变得不那么“痛苦”，因为你不必添加每个页面来禁止。

User agent

只是对搜索引擎的一个建议。如果有人链接到你的网页，这些网页仍可能被添加到搜索索引中。@Jan:不，不适用于任何搜索引擎；他们都遵守robots.txt。无论链接来自何处，如果页面被robots.txt阻止，他们都不会为其编制索引。@DisgludedCoat，我想你是对的。实际上，robots.txt不是官方标准，一位同事告诉我，他在一个私人家庭博客上使用robots.txt时遇到了麻烦。为了验证这一点，我在不同的（子）域上设置了两个页面。一个有允许爬行的robots.txt，一个不允许爬行。如果两者都出现在搜索索引列表中，我的同事是对的，如果不是，他犯了一个错误，robots.txt似乎是安全的。我必须在这里链接这两个域，让搜索引擎的爬虫找到它们：@Jan，来自SO的链接使用nofollow，这样它们就不会被爬网。你必须从其他地方链接它们。在我之前的评论中，我还想输入“所有主要搜索引擎”。可能有一些机器人自称为搜索引擎，却忽略了robots.txt。是的，这就是我目前的工作。我只是想得到一些关于这个方法的反馈，因为它会让事情变得不那么“痛苦”，因为你不必添加每个页面来禁止。

User agent

只是对搜索引擎的一个建议。如果有人链接到你的网页，这些网页仍可能被添加到搜索索引中。@Jan:不，不适用于任何搜索引擎；他们都遵守robots.txt。无论链接来自何处，如果页面被robots.txt阻止，他们都不会为其编制索引。@DisgludedCoat，我想你是对的。实际上，robots.txt不是官方标准，一位同事告诉我，他在一个私人家庭博客上使用robots.txt时遇到了麻烦。为了验证这一点，我在不同的（子）域上设置了两个页面。一个有允许爬行的robots.txt，一个不允许爬行。如果两者都出现在搜索索引列表中，我的同事是对的，如果不是，他犯了一个错误，robots.txt似乎是安全的。我必须在这里链接这两个域，让搜索引擎的爬虫找到它们：@Jan，来自SO的链接使用nofollow，这样它们就不会被爬网。你必须从其他地方链接它们。在我之前的评论中，我还想输入“所有主要搜索引擎”。可能有一些机器人自称为搜索引擎，却忽略了robots.txt。

User-agent: *
Disallow: /error/notloggedin.html