Python 使用selenium通过javascript记录并可能阻止XHR请求

Python 使用selenium通过javascript记录并可能阻止XHR请求,python,selenium,Python,Selenium,我有一些单页应用程序,可以动态地编写XHR请求。它用于为我要使用selenium单击的链接列表实现分页 该页面仅提供转到下一页链接。单击下一页链接时,javascript函数会创建一个XHR请求并更新页面内容 现在,当我点击列表中的一个链接时,我会被重定向到一个新页面(同样是通过javascript生成模糊请求)。虽然这正是我想要的行为,但当返回到上一页时,我必须从头开始(即从第0页开始,点击进入第n页) 我想到了几个解决方案: 在单击列表中的链接时阻止第二个XHR请求,存储它并稍后重播。这样

我有一些单页应用程序,可以动态地编写XHR请求。它用于为我要使用selenium单击的链接列表实现分页

该页面仅提供转到下一页链接。单击下一页链接时,javascript函数会创建一个XHR请求并更新页面内容

现在,当我点击列表中的一个链接时,我会被重定向到一个新页面(同样是通过javascript生成模糊请求)。虽然这正是我想要的行为,但当返回到上一页时,我必须从头开始(即从第0页开始,点击进入第n页)

我想到了几个解决方案:

  • 在单击列表中的链接时阻止第二个XHR请求,存储它并稍后重播。这样,我可以浏览网页,但保留我的链接供以后重播
  • 以某种方式“注入”第一个进行分页的XHR请求,以避免自己再次点击所有页面

我还尝试了一些简单的代理,但https给我带来了麻烦,我想知道是否有我可能错过的简单解决方案。

browsermobproxy可以轻松集成,并允许您捕获所有请求。它还应该允许您阻止某些呼叫返回


这听起来确实像是在抓取一个站点,因此分析XHR调用生成的数据并模仿它们可能是值得的。

您可以使用driver.execute_script()或改进分页代码/请求路由来执行javascript。现在,我用javascript实现了一个XHR代理,并使用了driver.execute_script(),谢谢。我无法控制页面,因为这更像是一个爬行任务