Seo 禁用子域的爬网

我想为我的子域禁用爬网

例如： 我的主域名是maindomain.com
子域_one.com（附加域）
子域_two.com（附加域）

所以我想禁用子域_one.maildomain.com的爬网功能

我在robot.txt中使用过：

   User-agent: *
   Disallow: /subdomain_one/
   Disallow: /subdomain_two/

---

该文件必须名为

robots.txt

，而不是

robot.txt

如果要禁止所有机器人爬网您的子域，则必须在该子域的文档根中放置robots.txt文件，其中包含以下内容：

User-agent: *
Disallow: /

每个主机都需要自己的

robots.txt

。只能在robots.txt中指定子域

因此，如果要阻止

http://sub.example.com/

，robots.txt必须可从

http://sub.example.com/robots.txt

---

它决定了您的站点在服务器端的组织方式，只影响哪些内容可以公开访问。

该文件必须名为

robots.txt

，而不是

robot.txt

如果要禁止所有机器人爬网您的子域，则必须在该子域的文档根中放置robots.txt文件，其中包含以下内容：

User-agent: *
Disallow: /

每个主机都需要自己的

robots.txt

。只能在robots.txt中指定子域

因此，如果要阻止

http://sub.example.com/

，robots.txt必须可从

http://sub.example.com/robots.txt

---

这关系到你的网站在服务器端的组织方式，只关系到什么是可公开访问的。

1）你说的“禁用SEO”是什么意思？不允许爬网和/或索引？2） 您在问题中列出了4个不同的域，其中只有一个域具有子域。请您检查并回答相应的问题好吗？谢谢您的回答，我的意思是说，不要为子域名编制索引，所以我使用robot.txt是正确的方法，请回复我看。我删除了

.htaccess

附带问题，因为它与您关于robots.txt的主要问题无关。请随意在这里提出一个新问题。1）禁用SEO是什么意思？不允许爬网和/或索引？2） 您在问题中列出了4个不同的域，其中只有一个域具有子域。请您检查并回答相应的问题好吗？谢谢您的回答，我的意思是说，不要为子域名编制索引，所以我使用robot.txt是正确的方法，请回复我看。我删除了

.htaccess

附带问题，因为它与您关于robots.txt的主要问题无关。请随意在这里提出一个新问题。请注意，一些搜索引擎（如谷歌）可能仍然会为您的URL编制索引。但如果您在robots.txt中禁用爬行功能，Google将不会将您的内容用于他们的搜索结果片段。@Lakshmikantharaju:如果它回答了您的问题，您可以回答我的问题。请注意，某些搜索引擎（如Google）可能仍会为您的URL编制索引。但如果你在robots.txt中禁用爬行功能，谷歌将不会将你的内容用于他们的搜索结果片段。@Lakshmikantharaju:如果它回答了你的问题，你可以回答我的问题。