Php 如何在具有多个域的godaddy共享服务器中创建robot.txt

下午好，我希望你能帮助我，我有一个问题：

我有一台带有godaddy（delux共享）的服务器，在该服务器上我有以下功能：

/
--/邮件
--/etc
--/公共_html
----/web1
----/web2
------/index.php
------/css
------/img
------/js
----/web3
--/tmp

我正在创建一个robot.txt文件，其中我不希望在web2中为任何内容编制索引，请为我提供“无需任何内容”（index.html、css、img、js），但我希望为其他页面（web1、web3）编制索引。我如何才能做到这一点？该文件夹中的robot.txt文件必须转到吗？在/、/public\u html、/web2中

我可以帮助处理文件内容：robot.txt

---

非常感谢。您将使用两个不同的robots.txt文件。一个进入/web1，另一个进入/web2。就爬虫程序而言，如果/web1是“somedomain.com”的根目录，它们将无法向上爬网到文件夹并爬网到/web2文件夹（或同一级别的任何其他文件夹）

编辑：一些示例robots.txt文件

从整个服务器中排除所有机器人（其中“服务器”==“域”）

允许所有机器人完全访问

User-agent: *
Disallow:

（或者只创建一个空的“/robots.txt”文件，或者根本不用）

将所有机器人从服务器的一部分中排除

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/

排除单个机器人

User-agent: BadBot
Disallow: /

User-agent: Google
Disallow:

User-agent: *
Disallow: /

允许单个机器人

User-agent: BadBot
Disallow: /

User-agent: Google
Disallow:

User-agent: *
Disallow: /

---

因此，

/web2

将获得一个robots.txt文件，其中包含：

User-agent: *
Disallow: /

而

/web1

和

/web3

将获得空的robot.txt文件或

User-agent: *
Disallow:

---

每个文件夹对应一个域，如果需要禁用www.web2.com的索引，则需要创建robots.txt并在/web2中找到它

User-agent: *
Disallow: /

将robots.txt添加到web1、web3（对于其他域）是可选的。 你可以把下面的内容放在那里

User-agent: *
Allow: / 

完成后，您可以验证robots.txt，例如

另外，为了阻止搜索引擎索引，您可以直接在html中包含以下元标记

<meta name="robots" content="noindex" />

好的，然后我在每个文件夹中放一个robot.txt文件？每个文件夹对应一个域，但我想知道robot.txt文件的内容该文件必须命名为

robots.txt

，而不是

robot.txt

。