Asp.net mvc 防止机器人爬行站点的某些区域

我对SEO和网络蜘蛛的工作原理了解不多，所以请原谅我的无知。我正在创建一个站点（使用ASP.NET-MVC），其中包含显示从数据库检索到的信息的区域。数据对于用户来说是唯一的，因此没有真正的服务器端输出缓存。但是，由于数据可能包含用户可能不希望从搜索引擎结果中显示的内容，因此我希望防止任何爬行器访问搜索结果页面。我是否应该采取任何特殊措施来确保搜索结果目录不被爬网？还有，蜘蛛会不会抓取一个动态生成的页面？阻止搜索某些目录的任何动作会不会扰乱我的搜索引擎排名

编辑：我应该补充一点，我正在阅读

robots.txt

协议，但它依赖于网络爬虫的合作。但是，我也希望防止任何数据挖掘用户忽略robots.txt文件

---

谢谢你的帮助

查看下面的链接。它是一个文本文件，你放在你的网站上，告诉机器人它可以索引什么，不能索引什么。您还需要解决如果机器人不遵守robots.txt文件会发生什么情况。

请查看。它是一个文本文件，你放在你的网站上，告诉机器人它可以索引什么，不能索引什么。您还需要解决如果bot不遵守robots.txt文件会发生什么情况。

您可以通过在服务器上实施节流来防止某些恶意客户端对您的服务器造成过大的攻击。“很抱歉，您的IP在过去几分钟内对此服务器发出了太多请求。请稍后再试。”但实际上，假设您无法阻止真正恶意的用户绕过您设置的任何限制机制

鉴于此，这里有一个更重要的问题：

你对你提供给全世界的信息感到满意吗？您的用户对此满意吗

---

如果这些问题的答案是否定的，那么您应该确保只有授权用户才能看到敏感信息。如果信息不是特别敏感，但您不希望客户端对其进行爬网，那么节流可能是一个不错的选择。你有可能会被抓到吗？如果没有，robots.txt应该没问题。

您可以通过在服务器上实施节流来防止一些恶意客户端对服务器的攻击过大。“很抱歉，您的IP在过去几分钟内对此服务器发出了太多请求。请稍后再试。”但实际上，假设您无法阻止真正恶意的用户绕过您设置的任何限制机制

鉴于此，这里有一个更重要的问题：

你对你提供给全世界的信息感到满意吗？您的用户对此满意吗

---

如果这些问题的答案是否定的，那么您应该确保只有授权用户才能看到敏感信息。如果信息不是特别敏感，但您不希望客户端对其进行爬网，那么节流可能是一个不错的选择。你有可能会被抓到吗？如果没有，robots.txt应该没问题。

您似乎有两个问题

首先，关注搜索结果中出现的某些数据。第二个是关于恶意或不道德的用户获取用户相关数据

第一个问题将通过适当地使用robots.txt文件来解决，因为所有的大型搜索引擎都尊重这一点

第二个问题似乎与数据隐私有关。第一个立即浮现在脑海中的问题是：如果有人们可能不想显示的用户信息，你为什么要提供这些信息？
此类数据的隐私政策是什么？
用户是否有能力控制哪些信息可用？

---

如果该信息可能敏感但对系统很重要，是否可以对其进行限制，使其仅对登录用户可用？

您似乎有两个问题

首先，关注搜索结果中出现的某些数据。第二个是关于恶意或不道德的用户获取用户相关数据

第一个问题将通过适当地使用robots.txt文件来解决，因为所有的大型搜索引擎都尊重这一点

第二个问题似乎与数据隐私有关。第一个立即浮现在脑海中的问题是：如果有人们可能不想显示的用户信息，你为什么要提供这些信息？
此类数据的隐私政策是什么？
用户是否有能力控制哪些信息可用？

---

如果该信息可能敏感但对系统很重要，是否可以对其进行限制，使其仅对登录用户可用？

robots.txt文件如前所述。如果这还不够，您可以：

• 阻止未知用户代理-很难维护，机器人很容易伪造浏览器（尽管大多数合法机器人不会）
• 阻止未知IP地址-对公共站点不有用
• 需要登录
• 限制用户连接-很难调整，你仍然会泄露信息

---

也许通过使用组合。无论哪种方式，这都是一种权衡，如果公众可以浏览到它，机器人也可以。确保在阻止机器人的尝试中不会阻止和疏远他人。

robots.txt文件如前所述。如果这还不够，您可以：

• 阻止未知用户代理-很难维护，机器人很容易伪造浏览器（尽管大多数合法机器人不会）
• 阻止未知IP地址-对公共站点不有用
• 需要登录
• 限制用户连接-很难调整，你仍然会泄露信息

也许通过使用组合。无论哪种方式，如果公众可以的话，这都是一种权衡