Seo robots.txt中用户代理的顺序

Seo robots.txt中用户代理的顺序,seo,robots.txt,Seo,Robots.txt,我的robots.txt如下所示: User-agent: * Disallow: /admin Disallow: /test User-Agent: Googlebot Disallow: /maps 现在Google忽略了用户代理*部分,只遵守特定的Googlebot指令(/maps)。这是正常的行为,并且不应该遵守useragent*指令(/admin,/test) 似乎很奇怪,必须为每个用户代理添加每一行?没关系,谷歌声明: robots.txt文件中的每个部分都是独立的,不生成

我的robots.txt如下所示:

User-agent: *
Disallow: /admin
Disallow: /test

User-Agent: Googlebot
Disallow: /maps
现在Google忽略了用户代理*部分,只遵守特定的Googlebot指令(/maps)。这是正常的行为,并且不应该遵守useragent*指令(/admin,/test)


似乎很奇怪,必须为每个用户代理添加每一行?

没关系,谷歌声明:

robots.txt文件中的每个部分都是独立的,不生成 在前面的章节中。例如:

用户代理:*不允许:/folder1/

用户代理:谷歌机器人不允许:/folder2/

在本例中,只允许与/folder2/匹配的URL 谷歌机器人