Seo robots.txt用于禁止Google不遵循特定URL
我将robots.txt包含在我的应用程序的根目录中,以便告诉不遵循此Seo robots.txt用于禁止Google不遵循特定URL,seo,robots.txt,Seo,Robots.txt,我将robots.txt包含在我的应用程序的根目录中,以便告诉不遵循此http://www.test.com/example.aspx?id=x&date=10/12/2014URL或具有相同扩展名但查询字符串值不同的URL。为此,我使用了以下代码: User-agent: * Disallow: Disallow: /example.aspx/ 但我在网站管理员工具中发现,谷歌仍在关注这个页面,并用指定的扩展名更改了许多URL,这是不是查询字符串造成了问题,因为据我所知,谷歌并不关心查询字
http://www.test.com/example.aspx?id=x&date=10/12/2014
URL或具有相同扩展名但查询字符串值不同的URL。为此,我使用了以下代码:
User-agent: *
Disallow:
Disallow: /example.aspx/
但我在网站管理员工具中发现,谷歌仍在关注这个页面,并用指定的扩展名更改了许多URL,这是不是查询字符串造成了问题,因为据我所知,谷歌并不关心查询字符串,只是以防万一。我是否正确地使用了它,或者为了完成任务,还需要做其他事情 您的指示有误:
Disallow: /example.aspx/
这将阻止direcory/example.aspx/
如果要阻止文件/example.aspx
的所有URL,请使用以下说明:
Disallow: /example.aspx
你可以用谷歌网站管理员工具来测试它