Seo Robots.txt和子文件夹

几个域被配置为我的主托管帐户（共享托管）的附加组件

目录结构如下所示（主域为example.com）：

• 公共html（example.com）
  
• _sub
  
• • ex1-->显示为示例realtor.com
    
• • ex2-->显示为示例author.com
    
• • ex3-->显示为示例blogger.com
    

（使用

example

作为域的SO要求使得解释更加困难-例如，sub-ex1可能指向plutorealty，ex2可能指向amazon，或者与我一起使用的其他业务sub-hosting。问题是，每个ex都是不同公司的网站，所以在心理上用一些正常和不同的东西来代替它们。）“示例”）

因为这些域（ex1、ex2等）是附加域，所以可以通过两种方式访问它们（理想情况下，第二种方法只有我知道）：

（1）
(二)

同样，

example1.com

是一个与

example.com

问题:

（a） 该网站将如何在搜索引擎上建立索引？将（1）和（2）都显示在搜索结果中吗？方法2不希望出现在google中）

（b） 我是否应该在

public\u html

中添加robots.txt，禁止子文件夹中的每个文件夹？例如：

 User-agent: *
 Disallow: /_sub/
 Disallow: /_sub/ex1/
 Disallow: /_sub/ex2/
 Disallow: /_sub/ex3/

---

（c） 是否有更常见的方法来配置附加域？

不要在Google上使用多站点功能。Google对主域的排名也会产生影响。如果黑帽和垃圾邮件也会生成子目录站点

我的建议，如果你需要在子类别的重要网站，然后把所有子域名noindex

Robot.txt

---

这个robots.txt就足够了，您不必列出

/\u sub/

之后的任何内容：

User-agent: *
Disallow: /_sub/

这将禁止机器人（尊重robots.txt）对路径以

/\u sub/

开头的任何URL进行爬网。但这并不一定会阻止这些机器人为您的URL本身编制索引（例如，在搜索结果中列出它们）

---

理想情况下，您可以从

http://example.com/_sub/ex1/

至

http://example1.com/

with。这取决于服务器的工作方式（对于Apache，您可以使用

.htaccess

）。然后每个人都会进入你网站的规范URL。

我投票决定将这个问题作为离题题题结束，因为它是关于这个问题的。我仍然不完全理解：如果我

不允许：/\u sub/

与此文件夹关联的域也会被禁止吗？（不是托管帐户的主域，而是仅指向此文件夹的特定域--在托管帐户上设置为子域的域）我更新了原始问题以突出显示与一个托管帐户关联的多个域的问题。@crashwap:robots.txt始终适用于可从中访问的主机。因此对于

http://example.com/_sub/ex1/index.php

，机器人将查看

http://example.com/robots.txt

用于robots.txt（这是您想要的），并且对于

http://example1.com/

他们将查看

http://example1.com/robots.txt

（这不会有什么害处，除非你也有以

/\u sub/

开头的URL）。--注意，如果你选择了首选的重定向到规范URL的方式，你不必修改robots.txt。因此，（1） 如果我不允许example.com上的

/\u sub/ex1/

，那么当谷歌机器人扫描ex1-realtor.com域时（在ex1-realtor.com指向example.com//\u sub/ex1文件夹的情况下），这不会影响ex1-realtor.com，并且（2）谷歌结果中只会显示ex1-realtor.com（也就是说，

example.com/\u sub/ex1

也不会显示？@crashwap：如果文件夹

/\u sub/ex1/

中没有robots.txt，那么

ex1 realtor.com

没有任何内容被阻止——正如我在回答中所述，谷歌可能仍然会在其SERP中显示

example.com/\u sub/ex1

中的URL。）（如果他们碰巧找到了它们），但他们可能不会抓取（即访问）它们。Robots.txt可以停止抓取文档，而不是索引URL。

User-agent: *
Disallow: /_sub/