Indexing noindex follow in Robots.txt

我有一个wordpress网站，它在搜索引擎中被编入索引

我编辑了Robots.txt，禁止搜索索引中的某些目录和网页

我只知道如何使用allow和disallow，但不知道如何在Robots.txt文件中使用follow和nofollow

当我在谷歌上搜索时，我在某个地方读到，我可以有一些网页，这些网页不会在谷歌上被索引，但会被爬网以获得pageranks。这可以通过禁用Robots.txt中的网页并对网页使用follow来实现

请告诉我如何在Robots.txt文件中使用follow和nofollow

谢谢

Sumit

不，你不能。 您可以设置要阻止的目录和机器人，但不能设置nofollow by robots.txt 在页面上使用robots meta标记设置nofollow。

a.）follow/no follow和index/no index规则不适用于robots.txt（设置一般站点规则），而是适用于页面上的meta robots标记（设置此特定页面的规则）

b、 ）谷歌不会抓取被禁止的页面，但它可以在SERP（使用入站链接或网站目录（如Dmoz）中的信息）上对其进行索引。
话虽如此，你也无法从中获得公关价值

---

谷歌实际上识别robots.txt中的Noindex:directive。下面是马特·卡茨所说的：

如果你在robots.txt中为一个已经在谷歌索引中的页面添加“Disallow”，你通常会发现该页面停留在索引中，就像一个幽灵，去掉了它的关键字。我想这是因为他们知道他们不会对其进行爬网，并且他们不希望索引包含bit-rot。因此，他们将页面描述替换为“由于该网站的robots.txt–了解更多信息，此结果的描述不可用。”

因此，问题依然存在：既然“不允许”不起作用，我们如何从谷歌删除该链接？通常，您会希望在相关页面上使用meta robots noindex，因为如果Google看到此更新，它实际上会将该页面从索引中删除，但如果在您的robots文件中使用该Disallow指令，他们将永远不会知道

因此，您可以从robots.txt中删除该页面的不允许规则，并在页面的标题中添加meta robots noindex标记，但现在您必须等待Google返回并查看您告诉他们忘记的页面

---

你可以从你的主页上创建一个新的链接，希望谷歌能得到提示，或者你可以通过直接将Noindex规则添加到robots.txt文件来避免整个事情。马特在上面的帖子中说，这将导致删除该链接。

事实上，谷歌机器人有机会使用该链接。但从谷歌博客新闻中可以看出，从2019年9月起，他们将不再支持这些（0001%的用户）命令。因此，为了将来的安全，您应该只在页面上使用meta标记。