使用php对网络爬虫隐藏内容。可能吗?

使用php对网络爬虫隐藏内容。可能吗?,php,web-crawler,Php,Web Crawler,我是编程新手,所以如果我说了一些愚蠢的话,请不要评判我 我想知道是否有任何方法可以欺骗网络爬虫,因此对于人类访问者来说,网站的某些内容将与网络蜘蛛不同 我有个想法 每次访问者进入页面时,都会有一个脚本,可以从facebook API中识别用户的性别。如果有返回(如果用户在同一浏览器中连接到facebook),那么一些代码将用PHP打印到页面代码中。如果是爬虫程序,则不会返回,因此该页面的源代码中不存在该代码 我知道PHP是一种服务器端语言,所以网络爬虫没有扫描这些代码的权限。如果我不对,请纠正我

我是编程新手,所以如果我说了一些愚蠢的话,请不要评判我

我想知道是否有任何方法可以欺骗网络爬虫,因此对于人类访问者来说,网站的某些内容将与网络蜘蛛不同

我有个想法

每次访问者进入页面时,都会有一个脚本,可以从facebook API中识别用户的性别。如果有返回(如果用户在同一浏览器中连接到facebook),那么一些代码将用PHP打印到页面代码中。如果是爬虫程序,则不会返回,因此该页面的源代码中不存在该代码

我知道PHP是一种服务器端语言,所以网络爬虫没有扫描这些代码的权限。如果我不对,请纠正我


谢谢。

我想你想用robots.txt做的事情是可以完成的

此文件可以位于web目录的根目录,它定义了web爬虫的规则。
请参见此处:

查看并可能对您有所帮助您假设所有人类访问者a)都有Facebook帐户,b)在访问您的网站时登录到Facebook,c)他们的个人资料是公开的,或者他们明确允许您的网站访问他们的个人资料。robot.txt不承担任何责任。这更多的是关于你对谷歌的请求,而不是武断。另外,当用户从您的根目录手动打开robot.txt时,您认为用户会看到什么?我知道robots.txt会被一些爬虫忽略。无论如何,谢谢你的回答。