如何在json请求(Python)后获取网站的html

如何在json请求(Python)后获取网站的html,python,jquery,json,python-requests,Python,Jquery,Json,Python Requests,我是数据挖掘,当您由于jquery请求而单击每一行时,表中添加了数据。因此,我需要能够在点击按钮后获取站点的html。 我需要通过点击这个页面上的邮轮来获取每个行程信息 我可以使用selenium/模拟浏览器,但代码需要快速,因为我需要单击数千个按钮。我目前正在使用python中的请求来获取html,但我不知道如何做到这一点 导入请求 headers={'User-Agent':'Mozilla/5.0(Macintosh;Intel Mac OS X 10_11_5)AppleWebKit/5

我是数据挖掘,当您由于jquery请求而单击每一行时,表中添加了数据。因此,我需要能够在点击按钮后获取站点的html。 我需要通过点击这个页面上的邮轮来获取每个行程信息

我可以使用selenium/模拟浏览器,但代码需要快速,因为我需要单击数千个按钮。我目前正在使用python中的请求来获取html,但我不知道如何做到这一点

导入请求
headers={'User-Agent':'Mozilla/5.0(Macintosh;Intel Mac OS X 10_11_5)AppleWebKit/537.36(KHTML,像Gecko)Chrome/50.0.2661.102 Safari/537.36'}
url=”https://www.cruisemapper.com/ships/AIDAmira-761?tab=itinerary"
页面=请求(url,标题=标题)
html=page.text

我需要获取该站点的html,在添加按钮单击的附加数据后,我可以在该站点访问表中的数据。

Hello J。与使用selenium路线相比,您可能更喜欢简单地模拟网络请求。打开chrome开发工具,进入网络选项卡。单击该页面上的其中一个表行,查看dev tools中显示的请求。一旦你知道了它的工作原理,你就可以使用请求下载初始页面。使用BeautifulSoup查找每一行,获取所需的任何引用,然后使用请求模拟该行的ajax请求。我强烈建议在执行抓取时欺骗用户代理标题以避免被检测。玩一个小时,向我们展示你的想法,如果你卡住了,我们可以帮助完成。我会试试,谢谢Scool,你可能还需要检查DOM以确定哪个字段是行id。实际上,我想我已经找到了一个解决方案:Hello J。与其走selenium路线,不如简单地模拟网络请求。打开chrome开发工具,进入网络选项卡。单击该页面上的其中一个表行,查看dev tools中显示的请求。一旦你知道了它的工作原理,你就可以使用请求下载初始页面。使用BeautifulSoup查找每一行,获取所需的任何引用,然后使用请求模拟该行的ajax请求。我强烈建议在执行抓取时欺骗用户代理标题以避免被检测。玩一个小时,向我们展示你的想法,如果你卡住了,我们可以帮助完成。我会试试,谢谢Scool,你可能还需要检查DOM以确定哪个字段是行id。实际上,我想我找到了一个解决办法: