Apache 所有子域的单个robots.txt文件

我有一个网站example.com，并在根目录中设置了robots.txt。我还有多个子域名foo.example.com、bar.example.com，将来还会有更多子域名，其robots.txt将与example.com完全相同。我知道我可以在每个子域的根目录下放置一个文件，但我想知道是否有可能将在任何子域上搜索robots.txt的爬虫重定向到example.com/robots.txt？

不建议为robots.txt文件发送重定向头，官方也不支持

特别指出：

robots.txt重定向到不允许的URL的处理未定义且不鼓励

但是文档确实说重定向将被普遍遵循。如果您将您的子域添加到Google Webmaster Tools中，并进入爬网>阻止的URL，您可以测试正在301重定向的子域robots.txt。它应该恢复到积极的工作状态

---

不过，尽管如此，我还是强烈建议您将这些文件符号链接到适当的位置，并且每个robots.txt文件在相应的URL处都会有一个200 OK的响应。这与最初的robots.txt规范以及谷歌的文档更加一致，谁知道bing/yahoo会如何处理它呢

是的，你可以。或者你可以把它符号化。随便哪个更容易。@Wrikken我可以向根目录的.htaccess添加一个重定向匹配来实现这一点吗？