Web scraping 把车费换成火车费
我在寻求建议。以下网址 提供英国火车线路的票价信息。我想用它来建立一个数据库的旅行费用季节票从不同的地点。我以前从未做过这种事情,但有Python/Bash脚本和一些HTML的经验Web scraping 把车费换成火车费,web-scraping,Web Scraping,我在寻求建议。以下网址 提供英国火车线路的票价信息。我想用它来建立一个数据库的旅行费用季节票从不同的地点。我以前从未做过这种事情,但有Python/Bash脚本和一些HTML的经验 查看典型查询的源代码实际公平信息不会显示在index.html中。任何人都可以提供一个关于如何开始抓取(我的一个新词)信息的指针。这是查询的url:http://brfares.com/querysimple?orig=SUY&dest=0415&rlc= 响应是一个json对象 首先,您需要构建一个包含所有目的地
查看典型查询的源代码实际公平信息不会显示在
index.html
中。任何人都可以提供一个关于如何开始抓取(我的一个新词)信息的指针。这是查询的url:http://brfares.com/querysimple?orig=SUY&dest=0415&rlc=
响应是一个json对象
首先,您需要构建一个包含所有目的地代码的查找表。您可以使用以下链接执行此操作http://brfares.com/ac_loc?term=
。对字母表中的所有字母执行此操作,然后解析一个唯一的列表
然后,将它们成对地进行处理,执行json查询,解析返回的json并将数据馈送到数据库
现在,您可以对该数据库执行任何操作