Seo 在robots.txt中，是否只允许对共享主机上的子域而不是子目录进行爬网？

我刚刚更改了DNS设置，因此文件夹

/forum

现在是子域而不是子目录。如果我打开robots.txt文件并说：

User-agent: *
Disallow: /forum

这会禁止对子目录和子域进行爬网吗

我想禁止子目录的爬网，但允许子域的爬网注意：这是在共享主机上，因此可以访问子目录和子域。这就是为什么我有这个问题

---

那么，我怎么能只允许对子域进行爬网呢？

如果你想停止爬网，这是正确的方法。但请注意：如果URL已被索引，则不会删除

我更喜欢的方式是通过meta标记将所有页面设置为“noindex/follow”，或者更好地使用“canonical标记”将搜索引擎流量发送到子域url 进入您的

在给定的URL上，例如“http://www.yourdomain.com/directoryname/post-of-the-day“使用

最新的URL将是SERPs中唯一的URL

<link rel="canonical" href="http://directoyname.yourdomain.com/post-of-the-day" />