File 404s服务器日志分析
我正在使用的一个大型网站每天从谷歌获得80K+404的垃圾URL。我不知道他们是从哪里来的。下面是一些例子。这些URI在站点结构中不存在，因此我假设它们是由驱动Gbot对其进行爬网的外部代理/站点创建的。有人有什么想法吗 2013年7月2日22:05/Sl/4watQCXBFtF6obwFRA0f35148b 10262 404-未找到编号 与Mozilla/5.0兼容；谷歌机器人/2.1； + 2013年7月2日22:05/PVDIS6AVEH9TJU3TTWG045CB2D 10261 404-未找到编号 与Mozilla/5.0兼容；谷歌机器人/2.1； +File 404s服务器日志分析,file,logging,googlebot,File,Logging,Googlebot,我正在使用的一个大型网站每天从谷歌获得80K+404的垃圾URL。我不知道他们是从哪里来的。下面是一些例子。这些URI在站点结构中不存在，因此我假设它们是由驱动Gbot对其进行爬网的外部代理/站点创建的。有人有什么想法吗 2013年7月2日22:05/Sl/4watQCXBFtF6obwFRA0f35148b 10262 404-未找到编号 与Mozilla/5.0兼容；谷歌机器人/2.1； + 2013年7月2日22:05/PVDIS6AVEH9TJU3TTWG045CB2D 10261 40