Javascript 使用BS4 python单击并刮取aspx页面

我试图通过点击按钮来抓取网站。我试着使用firebug和谷歌chrome控制台。为了避免单击按钮，我无法捕获它正在发送的请求。当我点击下面URL中的搜索按钮时，我只看到两个.js文件作为请求

---

我认为最简单的处理方法是使用Selenium的WebDriver

链接：

如果您安装了pip，则

pip install selenium

应该有用。我建议您使用Firefox作为浏览器

您可以使用Selenium下载这些页面，然后使用BS4对其进行解析。下面是一个简单的脚本，它将在表单中输入“Foo”和“Bar”，然后单击“Search”按钮

作为奖励，这里介绍了如何迭代搜索结果页面：

# next_page should be redeclared every time you visit a new page.
next_page = driver.find_element_by_class_name("rgPageNext")
next_page.click()

---

我的链接已断开。请尝试此链接

# next_page should be redeclared every time you visit a new page.
next_page = driver.find_element_by_class_name("rgPageNext")
next_page.click()