Web crawler 用户代理:谷歌网页预览(机器人或非机器人)

Web crawler 用户代理:谷歌网页预览(机器人或非机器人),web-crawler,bots,user-agent,google-crawlers,Web Crawler,Bots,User Agent,Google Crawlers,我用来从真实用户中筛选bot的方法之一是检查useragent。 检测后,我阻止他们使用的IP。我看到相当多的访问者将“Google Web预览”嵌入到他们的用户代理中(示例): 当我检查与这个useragent相关的IP地址时,它们似乎与Google无关。它们都只是来自世界各地的家庭IP地址。 当我在我的网站上跟踪用户时,我注意到他的useragent在继续浏览我的网站时立即更改为: mozilla/5.0 (ipad; cpu os 10_3_3 like mac os x) applewe

我用来从真实用户中筛选bot的方法之一是检查useragent。 检测后,我阻止他们使用的IP。我看到相当多的访问者将“Google Web预览”嵌入到他们的用户代理中(示例):

当我检查与这个useragent相关的IP地址时,它们似乎与Google无关。它们都只是来自世界各地的家庭IP地址。 当我在我的网站上跟踪用户时,我注意到他的useragent在继续浏览我的网站时立即更改为:

mozilla/5.0 (ipad; cpu os 10_3_3 like mac os x) applewebkit/602.1.50 (khtml, 
like gecko) gsa/33.0.164895372 mobile/14g60 safari/602.1
问题:这是一个机器人还是谷歌使用访问者生成预览? IP的行为就像普通用户一样(例如,点击链接,被robots.txt阻止)


谢谢

当您在chrome中打开一个新选项卡时,在google搜索输入下方会有一些访问量最大的链接

生成预览图像以便加载网页,当加载网页时,用户代理包含“Google web预览”


所以我想说它是一个机器人。

当你在chrome中打开一个新标签时,在谷歌搜索输入下面有一些访问量最大的链接

生成预览图像以便加载网页,当加载网页时,用户代理包含“Google web预览”

所以我会说它是一个机器人

mozilla/5.0 (ipad; cpu os 10_3_3 like mac os x) applewebkit/602.1.50 (khtml, 
like gecko) gsa/33.0.164895372 mobile/14g60 safari/602.1