使用模式阻止robots.txt中的一些动态URL
我试图从索引中排除部分页面。我有一个搜索表单,您可以使用一些预定义的参数或用户类型的查询。我需要阻止有用户提供的查询的搜索结果 示例URL:使用模式阻止robots.txt中的一些动态URL,robots.txt,googlebot,Robots.txt,Googlebot,我试图从索引中排除部分页面。我有一个搜索表单,您可以使用一些预定义的参数或用户类型的查询。我需要阻止有用户提供的查询的搜索结果 示例URL: example.com?adv=0&query=&r=0&woj=0&msc=&osk=&osb=&osn=#索引它 example.com?adv=0&query=&r=0&woj=0&msc=&osk=&osb=&osn=#也为它编制索引 example.com?adv=0&query=**USER\u query**&r=0&woj=0&msc=&
#索引它李>example.com?adv=0&query=&r=0&woj=0&msc=&osk=&osb=&osn=
#也为它编制索引李>example.com?adv=0&query=&r=0&woj=0&msc=&osk=&osb=&osn=
#不要索引李>example.com?adv=0&query=**USER\u query**&r=0&woj=0&msc=&osk=&osb=&osn=
User-Agent: *
Disallow: /example.com?adv=0&query=*&r=0&woj=0&msc=&osk=&osb=&osn=
星号符号会像我预期的那样工作吗?谷歌将知道星号仅与
&query
参数链接,如果该参数为空,则应为URL编制索引 必应和谷歌允许使用通配符?*(from)请注意,用户代理
和禁止
之间不应该有一个空行。请注意,禁止
中的URL路径不应该以主机(domain.com
)开头。是的,这只是一个示例。。。