在python中使用URL和片段访问数据

在python中使用URL和片段访问数据,python,url,web,screen-scraping,Python,Url,Web,Screen Scraping,我想使用python从该站点和类似站点获取历史价格: 在python中加载它只允许我访问前50行。在浏览器中,我可以设置开始和结束日期,并单击所有后续页面,但如何自动执行此操作 我知道此信息页码、开始和结束日期是通过浏览器使用片段发送的,因此,例如,这将加载第二页: 但是,我无法在python中实现这一点,也就是说,这仍然为我提供了第一页: url = 'http://www.boerse-frankfurt.de/en/etfs/db+x+trackers+msci+world+informa

我想使用python从该站点和类似站点获取历史价格:

在python中加载它只允许我访问前50行。在浏览器中,我可以设置开始和结束日期,并单击所有后续页面,但如何自动执行此操作

我知道此信息页码、开始和结束日期是通过浏览器使用片段发送的,因此,例如,这将加载第二页:

但是,我无法在python中实现这一点,也就是说,这仍然为我提供了第一页:

url = 'http://www.boerse-frankfurt.de/en/etfs/db+x+trackers+msci+world+information+technology+trn+index+ucits+etf    +LU0540980496/price+turnover+history/historical+data#page=2'
soup = BeautifulSoup(requests.get(url).text)
此外,我甚至不知道如何通过url更改开始和结束日期,更不用说将其加载到python中了

我在这里上传了迄今为止的代码:


我希望它能够为任何给定的开始和结束日期生成时间序列。

在正常的事件过程中,片段永远不会发送到服务器。如您所见,使用Firefox的WebDeveloper插件,他的站点实际上使用JavaScriptjQuery检索其他内容并更新页面。你最好的方法是分析它是如何为附加页面请求数据的,然后也这样做。不幸的是,我不知道该怎么做,甚至不知道从哪里开始查找。你能告诉我在哪里可以找到这类资料吗?