Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/list/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Seo 为什么即使在指定URL后robot.txt文件中也会出现此错误?_Seo_Robots.txt_Googlebot_Robot_Google Webmaster Tools - Fatal编程技术网

Seo 为什么即使在指定URL后robot.txt文件中也会出现此错误?

Seo 为什么即使在指定URL后robot.txt文件中也会出现此错误?,seo,robots.txt,googlebot,robot,google-webmaster-tools,Seo,Robots.txt,Googlebot,Robot,Google Webmaster Tools,在robot.txt文件中,我放置了一个URL/custompages/*,谷歌机器人不应该抓取与“/custompages/”匹配的页面 但当我查看网站管理员时,我仍然可以看到这些链接中的错误消息 User-agent: * Disallow: /search/application/* Disallow: /custompages/* 上面是我的robot.txt文件 在webmaster上我可以看到,Googlebot无法访问此URL的内容,因为服务器在尝试处理请求时出现

在robot.txt文件中,我放置了一个URL
/custompages/*
,谷歌机器人不应该抓取与“/custompages/”匹配的页面

但当我查看网站管理员时,我仍然可以看到这些链接中的错误消息

User-agent: *        
Disallow: /search/application/*
Disallow: /custompages/*
上面是我的robot.txt文件

在webmaster上我可以看到,
Googlebot无法访问此URL的内容,因为服务器在尝试处理请求时出现内部错误。这些错误往往与服务器本身有关,而不是与请求有关。
对于URL

custompages/savesearch?alid=9161

哪里可能发生了错误

Disallow: /search/application/
Disallow: /custompages/
就足够了,不需要*符号