Php 防止googlebot为同一托管帐户上的其他域编制索引

我有一个托管帐户，用于托管3个网站。 所有3个网站都是相互独立的

托管帐户链接到主域。我们将其命名为www.maindomain.com，此网站的文件位于托管的根目录下

其他两个域www.domainA.com和www.domainB.com分别链接到子文件夹domainA和domainB

谷歌在maindomain.com的搜索结果中显示了www.maindomain.com/domainA和www.maindomain.com/domainB，尽管domainA和domainB与该网站无关，只是它们托管在同一托管帐户中

如何防止googlebot在抓取maindomain.com时索引domainA和domainB子文件夹。

---

我可以使用robots.txt并防止子文件夹爬行吗（但它会阻止google将www.domainA和www.domainB作为单独的实体编制索引吗？

假设domainA和domainB是使用相应的子文件夹作为文档根来设置的，您可以在主域中定义为

User-agent: *
Disallow: /domainA/
Disallow: /domainB/

仅排除Googlebot并允许所有其他

User-agent: googlebot
Disallow: /domainA/
Disallow: /domainB/

---

但请记住，这些域似乎没有像

http://domaina.com/some/path

，而是

/domainA/some/path

首先，您可以用完全限定的URL替换

href

s来防止爬行