Seo 多个域的Robots.txt
每种语言都有不同的领域Seo 多个域的Robots.txt,seo,Seo,每种语言都有不同的领域 www.abc.com www.abc.se www.abc.de 然后每个站点都有不同的sitemap.xml。在robots.txt中,我想为每个域添加站点地图引用 是否可以在单个robots.txt中为每个域提供多个站点地图引用 如果有多个,它会选择哪一个 robots.txt只能通知搜索引擎自己域的站点地图。因此,当它在该域的robots.txt中爬行时,它将是唯一一个获得荣誉的。如果所有三个域映射到同一个网站并共享一个robots.txt,那么搜索引擎将有效地查
robots.txt只能通知搜索引擎自己域的站点地图。因此,当它在该域的robots.txt中爬行时,它将是唯一一个获得荣誉的。如果所有三个域映射到同一个网站并共享一个robots.txt,那么搜索引擎将有效地查找每个站点地图。在所有域重定向和www到非www重定向之后,我将在.htaccess中使用以下解决方案
# Rewrite URL for robots.txt
RewriteRule ^robots\.txt$ robots/%{HTTP_HOST}.txt [L]
在根目录中创建一个名为robots的新目录。
创建一个文本文件,填充每个域的特定机器人信息
- /robots/abc.com.txt
- /robots/abc.se.txt
- /robots/abc.de.txt
# URL Rewrite solution for robots.txt for multidomains on single docroot
RewriteCond %{REQUEST_FILENAME} !-d # not an existing dir
RewriteCond %{REQUEST_FILENAME} !-f # not an existing file
RewriteCond robots/%{HTTP_HOST}.txt -f # and the specific robots file exists
RewriteRule ^robots\.txt$ robots/%{HTTP_HOST}.txt [L]
此重写条件应仅适用于正常的
robots.txt
(如果存在),并且仅查找具有指定文件robots/.txt
的robots/
目录。这是三个托管在一起的不同网站。当然,内容是不同的,他们拥有的sitemap.xml文件也是不同的。这是唯一的答案,它只有一票。。互联网的其他部分似乎使用htaccess将robots.txt重写为特定于域的文件,但这更有意义。不要求robots.txt位于每个域的根目录中吗?@AlexioVay根据:>start quote<必须通过本地URL上的HTTP访问此文件“/robots.txt”。>end quote<使用上面的方法,文件可以在根目录中访问,尽管它不存储在根目录中。robots.txt不是必须在每个域的根目录中吗?这样,发送到/robots.txt的每个请求都会通过发送指定域的内容得到响应(当然,如果您正确设置了目录和文件)