Seo 为什么即使在指定URL后robot.txt文件中也会出现此错误?
在robot.txt文件中,我放置了一个URLSeo 为什么即使在指定URL后robot.txt文件中也会出现此错误?,seo,robots.txt,googlebot,robot,google-webmaster-tools,Seo,Robots.txt,Googlebot,Robot,Google Webmaster Tools,在robot.txt文件中,我放置了一个URL/custompages/*,谷歌机器人不应该抓取与“/custompages/”匹配的页面 但当我查看网站管理员时,我仍然可以看到这些链接中的错误消息 User-agent: * Disallow: /search/application/* Disallow: /custompages/* 上面是我的robot.txt文件 在webmaster上我可以看到,Googlebot无法访问此URL的内容,因为服务器在尝试处理请求时出现
/custompages/*
,谷歌机器人不应该抓取与“/custompages/”匹配的页面
但当我查看网站管理员时,我仍然可以看到这些链接中的错误消息
User-agent: *
Disallow: /search/application/*
Disallow: /custompages/*
上面是我的robot.txt文件
在webmaster上我可以看到,Googlebot无法访问此URL的内容,因为服务器在尝试处理请求时出现内部错误。这些错误往往与服务器本身有关,而不是与请求有关。
对于URL
custompages/savesearch?alid=9161
哪里可能发生了错误
Disallow: /search/application/
Disallow: /custompages/
就足够了,不需要*符号