robots.txt中的Noindex

我一直阻止谷歌使用robots.txt文件为我的网站编制索引。最近我读了一篇来自谷歌员工的文章，他说你应该使用meta标签来完成这项工作。这是否意味着Robots.txt无法工作？因为我使用的是CMS，所以我的选项非常有限，只需使用robots.txt文件就容易多了。我的问题是，如果我继续使用robots.txt文件而不是meta标记，会发生什么最糟糕的情况

简单地说，区别在于：

• robots.txt文件控制爬行。它指示正在寻找页面的机器人（也称蜘蛛）爬行，以“避开”某些地方。您可以将此文件放在网站的根目录中

• noindex标记控制索引。它告诉爬行器页面不应该被索引。将此标记放置在相关网页的代码中

如果希望在目录级别或整个站点进行控制，请使用robots.txt文件。但是，请记住，机器人不需要遵循这些指令。大多数都会，比如谷歌机器人，但将任何高度敏感的信息放在网站的公众可访问区域之外更安全

与robots.txt文件一样，noindex标记将从搜索结果中排除页面。页面仍将被爬网，但不会被索引。如果希望在单个页面级别进行控制，请使用这些标记

关于爬行和索引之间区别的旁白：爬行（通过蜘蛛）是搜索引擎的蜘蛛如何跟踪你的网站；爬网的结果进入搜索引擎的索引。将此信息存储在索引中可以加快相关搜索结果的返回速度，而不是扫描与搜索相关的每一页，索引（较小的数据库）的搜索可以优化速度

如果没有索引，搜索引擎会查看与搜索词相关的所有数据或信息，我们都有时间在等待搜索结果显示的同时制作和吃几个三明治。索引使用spider使其数据库保持最新

以下是标记的示例：

---

现在您已经阅读并理解了上述信息，我认为您能够自己回答您的问题；）

事实上，谷歌机器人有机会使用：

• 诺因迪斯
• 不跟随
• 爬行延迟

但从2019年9月起，它们将不再支持这些（0001%已使用）命令。因此，为了将来的安全，您应该只在页面上使用meta标记