Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/.net/21.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache 除了用户代理之外，还可以检测爬虫吗？_Apache_Web Crawler - Fatal编程技术网
Fatal编程技术网
  • apache/
  • Apache 除了用户代理之外，还可以检测爬虫吗？

Apache 除了用户代理之外，还可以检测爬虫吗？

apache web-crawler

Apache 除了用户代理之外，还可以检测爬虫吗？,apache,web-crawler,Apache,Web Crawler,以下场景： 一些爬虫声称他使用火狐作为例子 Mozilla/5.0（Windows NT 6.1；Win64；x64；rv:25.0）Gecko/20100101 Firefox/29.0 我是否能够检测到此用户是否使用浏览器而不是 我为什么要这么做 我在我的apache日志中发现了一个行为古怪的用户，但我不想禁止他，除非我知道这是一个爬虫程序。有些爬虫程序是为了模仿普通的基于用户界面的用户代理而设计的，所以没有真正好的方法来绕过它。您可以实施各种各样的黑客来绕过爬虫程序。通常是基于javasc

以下场景：

一些爬虫声称他使用火狐作为例子

Mozilla/5.0（Windows NT 6.1；Win64；x64；rv:25.0）Gecko/20100101 Firefox/29.0

我是否能够检测到此用户是否使用浏览器而不是

我为什么要这么做
我在我的apache日志中发现了一个行为古怪的用户，但我不想禁止他，除非我知道这是一个爬虫程序。有些爬虫程序是为了模仿普通的基于用户界面的用户代理而设计的，所以没有真正好的方法来绕过它。您可以实施各种各样的黑客来绕过爬虫程序。通常是基于javascript的

正如相关链接所示，隐身爬虫将尝试隐身，并假装是一个真实的用户界面。因此，即使您使用Javascript黑客，一个好的爬虫程序也可以嵌入一些Javascript引擎来正确解析链接。这是一场猫捉老鼠的游戏。

一些爬虫为搜索引擎提供素材。搜索引擎带来访客。@Paul我不认为Serchenine爬虫声称自己是firefox，或者至少与firefox相关