Python 2.7 脚本在不同页面中爬行并获取数据

Python 2.7 脚本在不同页面中爬行并获取数据,python-2.7,web-crawler,data-acquisition,Python 2.7,Web Crawler,Data Acquisition,我计划做一个bmtc总线连接网络的网络分析。。。所以我需要获取有关公交线路的数据。据我所知最好的网站是 在“按路线搜索”选项下,给出了整个路线列表,用户可以选择其中任何一条路线,单击“提交”按钮,它将显示详细路线。以前,当我在线获取数据时,我习惯于将每个项目(在本例中为路线编号)都指向不同的URL这一事实包装起来,并且我习惯于使用Python从源页面获取数据。但是在这里,不管巴士路线如何,最后一页总是有URL 而且它的源页面不包含路线详细信息 我只熟悉Python和Matlab。我想不出任何方法

我计划做一个bmtc总线连接网络的网络分析。。。所以我需要获取有关公交线路的数据。据我所知最好的网站是 在“按路线搜索”选项下,给出了整个路线列表,用户可以选择其中任何一条路线,单击“提交”按钮,它将显示详细路线。以前,当我在线获取数据时,我习惯于将每个项目(在本例中为路线编号)都指向不同的URL这一事实包装起来,并且我习惯于使用Python从源页面获取数据。但是在这里,不管巴士路线如何,最后一页总是有URL 而且它的源页面不包含路线详细信息


我只熟悉Python和Matlab。我想不出任何方法从那个网站上获取数据。如果你能看到一些东西,从技术上讲,你应该能够下载数据(至少我是这么认为的)。那么,你能帮我一个代码吗?它可以自动搜索每个公交路线号码并下载路线详细信息。

我查看了你提到的url。如果您有路线编号列表,则可以使用以下url结构提取数据

http://www.narasimhadatta.info/cgi-bin/find.cgi?route=[您列表中的路线号]

我会使用。