Web scraping 大学数据聚合

Web scraping 大学数据聚合,web-scraping,Web Scraping,我有一个客户,他想构建一个面向大学生的web应用程序。他们希望学生能够从有效的班级和老师列表中选择他们所在的班级。网站,如,和都有准确的名单,从许多大学是准确的一年一年 这些公司如何汇总这些数据?这些大学是否有专门的api?或者,这些公司是否每年向这些大学的学生支付输入这些数据的费用 我猜这些公司有某种协议,使用API进行数据交换。如果您没有访问该API的权限,您仍然可以构建一个简单的webscraper来为您提取数据。我们已经为客户做了一些这方面的工作,在每种情况下,我们都必须刮取数据。如果你

我有一个客户,他想构建一个面向大学生的web应用程序。他们希望学生能够从有效的班级和老师列表中选择他们所在的班级。网站,如,和都有准确的名单,从许多大学是准确的一年一年


这些公司如何汇总这些数据?这些大学是否有专门的api?或者,这些公司是否每年向这些大学的学生支付输入这些数据的费用

我猜这些公司有某种协议,使用API进行数据交换。如果您没有访问该API的权限,您仍然可以构建一个简单的webscraper来为您提取数据。

我们已经为客户做了一些这方面的工作,在每种情况下,我们都必须刮取数据。如果你能得到一个API,肯定会使用它,但我的猜测是,绝大多数将需要刮