.htaccess 子域的Mod Rewrite robots.txt
我有一个指向ex的域:www.website.com和一个子域app.website.com 两者都指向同一个文件夹,其中包含站点和应用程序之间共享的wordpress,根据您到达的方式,您将被定向到显示正确布局的模板 我不希望app.website.com被搜索引擎编入索引 我想知道,如果爬虫通过app.website.com到达,是否有办法对robots.txt进行修改,将爬虫发送到robots-subdomain.txt.htaccess 子域的Mod Rewrite robots.txt,.htaccess,mod-rewrite,.htaccess,Mod Rewrite,我有一个指向ex的域:www.website.com和一个子域app.website.com 两者都指向同一个文件夹,其中包含站点和应用程序之间共享的wordpress,根据您到达的方式,您将被定向到显示正确布局的模板 我不希望app.website.com被搜索引擎编入索引 我想知道,如果爬虫通过app.website.com到达,是否有办法对robots.txt进行修改,将爬虫发送到robots-subdomain.txt 可能是这样的: RewriteCond %{HTTP_HOST}
可能是这样的:
RewriteCond %{HTTP_HOST} ^app.website.com$
RewriteRule ^robots\.txt$ robots-subdomain.txt
然后将其包含在robots-subdomain.txt文件中。
User-agent: *
Disallow: /
我尝试过这种方法,但没有成功,我希望有更多经验的人能提出更好的解决方案
克里斯规则很好。确保它在任何wordpress相关规则之前将代码:(RewriteEngine打开)移动到第1行,并将我的两行放在下面,然后是wordpress规则,解决了我的问题。谢谢林乔恩