.htaccess 在使用htaccess处理我的站点时,我可以使用robots.txt吗

.htaccess 在使用htaccess处理我的站点时,我可以使用robots.txt吗,.htaccess,robots.txt,.htaccess,Robots.txt,我在我的站点中使用htaccess,这样所有对我站点的请求都将重定向到我根目录中的索引页。无法访问我的站点中的其他文件,因为我的htaccess将限制它。我的疑问是,当我使用robots.txt文件时,搜索引擎是否能够访问我域中的robots.txt文件?。或者我必须修改我的htaccess文件以允许搜索引擎读取robots.txt文件。如果是,请帮助我找到htaccess的特定代码 我想你在使用某种重写。您可以使用以下规则将mod_rewrite处理的文件排除在外: RewriteCond %

我在我的站点中使用htaccess,这样所有对我站点的请求都将重定向到我根目录中的索引页。无法访问我的站点中的其他文件,因为我的htaccess将限制它。我的疑问是,当我使用robots.txt文件时,搜索引擎是否能够访问我域中的robots.txt文件?。或者我必须修改我的htaccess文件以允许搜索引擎读取robots.txt文件。如果是,请帮助我找到htaccess的特定代码

我想你在使用某种重写。您可以使用以下规则将mod_rewrite处理的文件排除在外:

RewriteCond %{REQUEST_FILENAME} -f
RewriteRule ^(.*) $1 [L]
在这种情况下,webroot中确实存在并直接调用的所有文件将不会被进一步处理。用robots.txt替换{REQUEST_FILENAME},您应该会没事的

最美好的祝愿,

Fabian

如果您可以通过web浏览器访问robots.txt,试一试如何?如果可以,搜索引擎也可以,反之亦然(除非您使用的是特定于IP或浏览器的重定向等)。也就是说,

您可以为这个问题添加特定的重写规则吗?我们可以使用.htaccess文件阻止索引吗?