Seo 防止对父域的子目录建立索引

假设我的网站children.com（我想建立索引）也可以通过（我不想建立索引）访问

层次结构示例： /家庭/用户名/母亲： |_儿童：

我应该在我的mother.com/robots.txt文件中添加什么内容来防止children.com和children.com的所有子目录中的内容被索引为属于mother.com

---

谢谢你的建议

我已经解决了自己的问题，并通过phpwebby robots.txt分析仪确认了。。。我已将以下代码放入mother.com/robots.txt文件中：

User-agent: Googlebot
Disallow: /
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Disallow: /
User-agent: Jeeves
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: Yahoo-MMCrawler
Disallow: /
User-agent: msnbot
Disallow: /
User-agent: psbot
Disallow: /
User-agent: *
Disallow: /

并将以下内容添加到我的chilren.com robots.txt文件中

User-agent: *
#block indexing of email and print pages -------
Disallow: /*~email.shtml
Disallow: /*~print.shtml
Sitemap: http://www.children.com/sitemap_index.xml

当然，我进行了三次检查以确保（使用robots.txt文件分析器）不同的子目录不能通过mother.com域访问，并且它们可以通过children.com域进行索引

---

注意：仅以mother.com和children.com域为例。

您实际上可能甚至不想使用robots.txt。而是使用和的组合

在所有mother.com/children页面上，添加值为“noindex”的meta robots标记。虽然搜索引擎能够抓取页面，但不会将这些页面添加到索引中。现在，这仍然会对内容的权威位置造成一些混淆

因此，您需要使用跨域规范标记来通知主要搜索引擎权威内容所在的位置。因此，您将在mother.com/children的页面上添加一个规范标记，并在children.com上为它们提供值。您需要确保，如果它是一个特定的页面，您可以在children.com上将其规范化为相同的内容，因为规范标记实际上只用于相同的内容