为什么Googlebot会抓取没有被引用的/mobile/*和/m/*页面？
自五月底以来，我在网站管理员工具/Google搜索控制台的智能手机爬行错误页面中发现了很多新的404错误。所有这些都以/m/或/mobile/开头，它们都不存在，也没有链接到站点上的任何位置 例如，对于和页面，我有一个404错误。根据搜索控制台，这些页面在现有页面中链接，但不是为什么Googlebot会抓取没有被引用的/mobile/*和/m/*页面？,mobile,seo,google-webmaster-tools,googlebot,Mobile,Seo,Google Webmaster Tools,Googlebot,自五月底以来，我在网站管理员工具/Google搜索控制台的智能手机爬行错误页面中发现了很多新的404错误。所有这些都以/m/或/mobile/开头，它们都不存在，也没有链接到站点上的任何位置 例如，对于和页面，我有一个404错误。根据搜索控制台，这些页面在现有页面中链接，但不是 谷歌机器人是否决定自己寻找每个页面的移动版本？我可以禁用此行为吗？这是因为我的网站还不适合移动（我收到了谷歌的另一条警告信息） 您可以在robots.txt中阻止这些目录，但这是一种解决方法。更好的选择是找出Google
谷歌机器人是否决定自己寻找每个页面的移动版本？我可以禁用此行为吗？这是因为我的网站还不适合移动（我收到了谷歌的另一条警告信息） 您可以在robots.txt中阻止这些目录，但这是一种解决方法。更好的选择是找出Googlebot从何处获取这些URL 如果你共享了一个示例页面URL，谷歌说你有到/mobile页面的链接，我可以查看一下，找出从哪里获得的链接
不，谷歌不只是发明目录来抓取你可能会随机潜入移动页面的机会：）正如@Jonny 5在评论中提到的，这似乎是因为谷歌猜测你可能在
/m/mobile/m/mobile/m/mobileexample.com为了防止这种情况发生，您最好的办法是创建一个移动友好版本的站点，或者将
/m/mobile别紧张。这是谷歌的一个bug：）至于将
/m/mobilelocation /m/ {
rewrite ^/[^/]+(/.*)$ $1 permanent;
}
location /mobile/ {
rewrite ^/[^/]+(/.*)$ $1 permanent;
}
location /m/ {
return 301 $scheme://$host/;
}
location /mobile/ {
return 301 $scheme://$host/;
}
例如：该页面应该链接到搜索控制台Interesting并根据搜索控制台进行链接。。。我在页面上没有看到任何直接链接，这是真的。你现在或过去有过针对移动用户的服务器端重定向吗？我从来没有做过与/m/或/mobile/url相关的事情，也没有链接或重定向，这就是为什么我对出现在谷歌搜索控制台中的这些内容感到困惑，并认为这是某种标准。实际上，谷歌有在某些情况下猜测URL的历史，对不存在的URL返回404是正确的方法。网站管理员工具会注意到这一点，没什么大不了的。你的子域上有带/mobile/和/m/的URL：我今天也有同样的问题。突然，Pixelsascarer.com/m/上出现了很多404。。。和Pixelsascarter.com/mobile/。。。即使我在这些路径上没有任何页面，也没有指向这些路径的链接。仅在网站管理员工具的“智能手机”选项卡上。我认为谷歌在作为移动设备爬行时确实在“猜测”这些路径。同样的问题，从3周前开始，而且还在增加<代码>/m/<代码>/mobile/。。。404错误。嗯，这对我来说真的没什么意义：）想想，我会用机器人阻止那些。TXT在我看来，谷歌在默认情况下请求/m和/mobile URL。这与你的网站是否对手机友好无关。我在WMT中添加的每个新站点都会出现/m和/mobile爬网错误，同时告诉我该站点确实对移动友好。很有趣。它是否说它添加/m和/mobile的确切页面已经对移动友好了？不确定我是否正确理解了你的问题，尽管它只是每个设备的一个响应站点，但/m和/mobile返回404，因为它们没有激活。WMT也没有显示任何指向这些/m和/mobile的转介。作为参考，这是其中一个网站是的，这个问题有点不清楚。你有没有谷歌试图检查的a/m或移动URL的例子？很有趣。是的，如果这两个页面被选中，那么我认为你是正确的-谷歌有时可能会检查/m和/mobile，即使这个页面已经响应了/mobile友好。