Web 我可以把robots.txt放在；“对不起”；服务器？

我正在考虑是否应该为我的“抱歉服务器”添加以下

robots.txt

，该服务器会向客户返回一些关于我们正在维护的抱歉消息

User-agent: *
Disallow: /

以下是我的担忧/问题：

它不会告诉爬虫永远不要索引我们的网站，尽管我们的服务器在维护完成后已经准备好了吗

如果我把

robots.txt

放在我的抱歉服务器上，我应该把另一个

robots.txt

放在我们的常规服务器上，告诉爬虫“请为我们的站点编制索引”吗

[编辑]说到极端，它不会从谷歌删除我们的网站吗

---

在这种情况下，不应使用robots.txt

在您处于维护模式时获取robots.txt的bot可能会缓存它，并在您的站点重新联机时应用其规则（使用此bot在一段时间内不会看到的已更改的robots.txt）。当您的站点处于维护模式时，当您的站点在线时获取robots.txt的bot也可能应用其规则

相反，您应该为维护模式提供适当的HTTP头：503服务不可用。仅此信号就足以（至少对于某些有能力的机器人）不索引页面

此外，您可以为

meta

-

robots

元素提供

noindex

值，或相应的HTTP头

X-robots-Tag

（）