Search 如何禁止robots.txt中的特定页面，但允许其他所有内容？

这样做吗

User-agent: *
Allow: /
Disallow: /a/*

我有这样的网页：

mydomaink.com/a/123/group/4
mydomaink.com/a/xyz/network/google/group/1

---

我不想让它们出现在谷歌上。

你的robots.txt看起来是正确的。如果你想百分之百确定的话，你可以

仅供参考，robots.txt中的阻止页面并不保证它们不会出现在搜索结果中。它只会阻止搜索引擎抓取这些页面。如果愿意，他们仍然可以列出它们。要防止页面被索引和列出，您需要使用HTTP标头

如果使用Apache，您可以在

/a/

目录中放置一个文件，并使用以下行有效地阻止这些页面：

<IfModule mod_headers.c>
    Header set X-Robots-Tag: "noindex"
</IfModule>

标题集X-Robots-Tag：“noindex”