Php 如何验证Bingbot?还是宾宝机器人坏了?
我只是尝试验证Bingbot,并使用了以下microsoft官方博客条目的规则: 这项技术在大多数情况下都有效,但在某些情况下却无效:(是我的错还是他们的错?) 有效:Php 如何验证Bingbot?还是宾宝机器人坏了?,php,dns,bing,msn,reverse-dns,Php,Dns,Bing,Msn,Reverse Dns,我只是尝试验证Bingbot,并使用了以下microsoft官方博客条目的规则: 这项技术在大多数情况下都有效,但在某些情况下却无效:(是我的错还是他们的错?) 有效: 202.96.51.137使用反向DNS检查:gethostbyname(gethostbyaddr(202.96.51.137))导致202.96.51.137 错误结果: 此MSN bot IP:65.55.213.246通过反向DNS检查进行检查gethostbyname(gethostbyaddr(65.55.213.
202.96.51.137
使用反向DNS检查:gethostbyname(gethostbyaddr(202.96.51.137))
导致202.96.51.137
错误结果:此MSN bot IP:
65.55.213.246
通过反向DNS检查进行检查gethostbyname(gethostbyaddr(65.55.213.246))
结果是:msnbot-65-55-213-246.search.msn.com
(通常通过ip解析)
另一个错误结果这个MSN机器人IP:
157.55.33.113
通过反向DNS检查gethostbyname(gethostbyaddr(“157.55.33.113”)
解析为157.55.33.11
(IP D类错误),仅仅因为爬虫声称是某个东西并不意味着它就是那个东西。用户代理是很容易伪造的,而且许多愚蠢的付费墙系统完全脱离了UA字符串。“你是谷歌机器人吗?”“嗯……是吗?”“欢迎,这是我们所有受保护的内容!”这就是为什么我用useragent、DNS和反向DNS检查来验证机器人的原因。。。