Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/search/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Database 是否有可能从其他公司获得数据';数据库?_Database_Search_Web - Fatal编程技术网

Database 是否有可能从其他公司获得数据';数据库?

Database 是否有可能从其他公司获得数据';数据库?,database,search,web,Database,Search,Web,我想知道为什么这么多的招聘网站有这么多关于其他公司的招聘信息。例如,如果我要启动自己的求职引擎,我如何才能获得像Required.com这样的网站在我自己数据库中的信息?一个网站(jobmaps.us)说它是“由真的”提供动力的,并且似乎遵循与真的相同的格式(就像所有其他求职网站一样)。是否有一些通用的求职模板,我可以使用 提前感谢。一些服务提供了一个API,允许您“联合”搜索(将搜索转发到多个数据源,然后将所有结果收集在一起,以便在一个位置显示)。或者,有些提供了一种机制,允许您下载/检索数据

我想知道为什么这么多的招聘网站有这么多关于其他公司的招聘信息。例如,如果我要启动自己的求职引擎,我如何才能获得像Required.com这样的网站在我自己数据库中的信息?一个网站(jobmaps.us)说它是“由真的”提供动力的,并且似乎遵循与真的相同的格式(就像所有其他求职网站一样)。是否有一些通用的求职模板,我可以使用


提前感谢。

一些服务提供了一个API,允许您“联合”搜索(将搜索转发到多个数据源,然后将所有结果收集在一起,以便在一个位置显示)。或者,有些提供了一种机制,允许您下载/检索数据,以便您可以将其加载到自己的搜索索引中

后一种方法通常更快,可以完全控制,但需要维护搜索索引并跟踪远程系统上数据项的更新/添加/删除时间。这并不总是微不足道的

在这两种情况下,有些API是开放/免费的,有些API需要注册和/或许可证。大多数都有利率限制。这一切都取决于谁拥有这些数据

可以模拟用户浏览网站、发送HTTP请求并分析来自web服务器的响应。通过了解HTML的结构,可以提取(“刮取”)所需的信息

这种方法通常违反站点策略,很可能会阻止您。如果您确实采用这种方法,请确保您尊重任何政策,以避免被列入黑名单