Web scraping 把车费换成火车费

Web scraping 把车费换成火车费,web-scraping,Web Scraping,我在寻求建议。以下网址 提供英国火车线路的票价信息。我想用它来建立一个数据库的旅行费用季节票从不同的地点。我以前从未做过这种事情,但有Python/Bash脚本和一些HTML的经验 查看典型查询的源代码实际公平信息不会显示在index.html中。任何人都可以提供一个关于如何开始抓取(我的一个新词)信息的指针。这是查询的url:http://brfares.com/querysimple?orig=SUY&dest=0415&rlc= 响应是一个json对象 首先,您需要构建一个包含所有目的地

我在寻求建议。以下网址

提供英国火车线路的票价信息。我想用它来建立一个数据库的旅行费用季节票从不同的地点。我以前从未做过这种事情,但有Python/Bash脚本和一些HTML的经验


查看典型查询的源代码实际公平信息不会显示在
index.html
中。任何人都可以提供一个关于如何开始抓取(我的一个新词)信息的指针。

这是查询的url:
http://brfares.com/querysimple?orig=SUY&dest=0415&rlc=

响应是一个json对象

首先,您需要构建一个包含所有目的地代码的查找表。您可以使用以下链接执行此操作
http://brfares.com/ac_loc?term=
。对字母表中的所有字母执行此操作,然后解析一个唯一的列表

然后,将它们成对地进行处理,执行json查询,解析返回的json并将数据馈送到数据库

现在,您可以对该数据库执行任何操作