Web crawler 检测网络爬虫的最佳和最有效的方法

有很多方法可以伪装成一个人。那么，什么是克服它的最好方法呢

最有效的方法是Captha，但会降低网站的用户友好性。因此，最好的方法是分析你的流量程序，一旦你的代码检测到不寻常的事情，就要求用户在严格的时间线内回答captha

---

只要了解基本的基本知识。没有人编写爬虫程序只是为了阅读一页或一篇文章。有些人想要全部，有些人想要快速，而有些人想要常规。有些甚至可能从不同的IP中命中，但它们以相同的方式命中，时间间隔相同。爬虫和人类最大的区别是，爬虫在什么时候击中目标是有纪律的，人类是懒惰的。爬虫的效率足以将多个点击放在一起，而人类则不然，以此类推。任何听起来好像你的流量日志中的模式只是一个爬虫的东西。

最有效的方法是Captha，但它会让你的网站变得不那么友好。因此，最好的方法是分析你的流量程序，一旦你的代码检测到不寻常的事情，就要求用户在严格的时间线内回答captha

---

只要了解基本的基本知识。没有人编写爬虫程序只是为了阅读一页或一篇文章。有些人想要全部，有些人想要快速，而有些人想要常规。有些甚至可能从不同的IP中命中，但它们以相同的方式命中，时间间隔相同。爬虫和人类最大的区别是，爬虫在什么时候击中目标是有纪律的，人类是懒惰的。爬虫的效率足以将多个点击放在一起，而人类则不然，以此类推。任何听起来好像流量日志中的模式只是一个爬虫的东西。

将web服务器配置为包含Voight Kampff响应标头请将web服务器配置为包含Voight Kampff响应标头请参见