Php 机器人识别与绘制

我们对请求爬虫有一些过滤器，或者机器人和浏览器中的渲染应该没有区别？
是否应将请求机器人视为通过浏览器的公共访问

我读到机器人有谷歌网络版和手机版

---

我们需要确定移动机器人是否能够像移动电话一样显示内容？

您可以通过域根目录中名为

robots.txt的文件告诉机器人它可以访问什么和不能访问什么

你看过这个了吗

http://www.robotstxt.org/robotstxt.html

它解释了如何允许/禁止机器人进入站点的某些区域

示例：

将所有机器人从服务器的一部分中排除

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/

谢谢你的链接。。。我对移动爬虫google与否的理解不同？是的，google mobile是
Googlebot mobile
普通的google是
Googlebot
链接信息：另一个注意，在robots.txt文件中添加disallow:/some super secret dir/是个坏主意。很多邪恶的蜘蛛都会用这种方式寻找隐藏的文件。只是说说而已！