Web crawler 移动代理与网络爬虫的区别

Web crawler 移动代理与网络爬虫的区别,web-crawler,user-agent,agent,distributed-system,Web Crawler,User Agent,Agent,Distributed System,有人能告诉我移动代理和网络爬虫的确切区别吗 提前感谢。移动代理是一类代理字符串,用于移动设备上有一个lok at 其中,作为网络爬虫的机器人程序被不同的程序(如搜索引擎)用于索引页面 像谷歌的一个爬虫代理字符串是“DoCoMo/1.0/P502i/c10(谷歌CHTML代理/1.0)” 属于“谷歌(216.239.39.x)代理服务器” 下面是代理字符串的完整列表,包括爬虫、爬行器 编辑 按照你的要求 查看是否有人访问您的站点,然后您检查他的用户代理。如果他使用的是Firefox,你会得到

有人能告诉我移动代理和网络爬虫的确切区别吗


提前感谢。

移动代理是一类代理字符串,用于移动设备上有一个lok at

其中,作为网络爬虫的机器人程序被不同的程序(如搜索引擎)用于索引页面

像谷歌的一个爬虫代理字符串是“DoCoMo/1.0/P502i/c10(谷歌CHTML代理/1.0)” 属于
“谷歌(216.239.39.x)代理服务器”

下面是代理字符串的完整列表,包括爬虫、爬行器

编辑 按照你的要求


查看是否有人访问您的站点,然后您检查他的用户代理。如果他使用的是Firefox,你会得到一个字符串,如果他使用的是像iPhone这样的移动设备,那么你会在手机上安装浏览器的用户代理。如果访问者是一个爬虫,那么你会得到同样的用户代理字符串…

如果我没有错,移动代理不一定意味着他们必须对移动设备做一些事情。移动代理是一种特殊类型的代理代码,其设计方式使其在本质上是移动的

  • 它们被称为移动设备,不是因为它们在移动设备上工作,而是因为代码是移动的,即代码能够从一个地方移动到另一个地方。移动代理提供代码移动性
  • 举个例子,如果我写了一个搜索任何项目的代码(以这个例子将其与网络爬虫进行比较),一个移动代理代码将从您的服务器端移动到要进行搜索的各个服务器端,在服务器端处理搜索,然后将结果返回给您
  • 然而,爬虫程序是从您这边工作的,它的代码不会移动,而是从服务器端访问数据。这是一个完全不同的范例 我认为Shekhar为移动设备的用户代理提供了答案,从技术上讲,移动设备的用户代理不是移动代理,而是移动设备的代理。
    你可以澄清

    虽然这个问题很老了,但我想澄清一下我所说的

    移动代理是一个正在运行的程序(代码和数据),它 在网络中从一台计算机跳到另一台计算机(迁移),代表某人执行任务,并最终返回结果。例如,它们可用于在组织内的计算机上安装和维护软件,或用于比较多个供应商的产品价格 通过访问每个供应商的站点并执行一系列数据库操作

    移动代理是网络资源的潜在安全威胁 他们访问的计算机。因此,接收代理的环境应该决定 应该允许它使用哪些本地资源,例如,基于代理所代表的用户的身份。此外,移动代理本身也可能容易受到攻击,因为如果拒绝访问他们所需的信息,他们可能无法完成任务


    另一方面,网络爬虫不会从一台计算机跳到另一台计算机。相反,它会悄悄地“浏览”(扫描)网络,“阅读”它找到的所有内容,并为它“阅读”的所有内容编制索引,以使它能够更快地响应搜索请求。

    嘿,请你再解释一下。因为你提供的链接我已经看到了。但无法理解你还想知道什么。。移动代理用于移动设备。。移动设备中的Opera Mini是一个移动代理。。。网络爬虫是一个机器人程序,运行在某个服务器上并访问Url来处理它们。。。具体一点,您不了解的是,我正在使用Java代理开发语言(JADE)进行一个移动代理计算项目。你可以用谷歌搜索JADEI同意Purushottam的观点,移动代理与移动设备无关,就像javascript与java无关一样