使用Python和Selenium通过JavaScript动态生成html

使用Python和Selenium通过JavaScript动态生成html,python,selenium,dynamic-html,Python,Selenium,Dynamic Html,我目前在这方面遇到了动态生成html代码的问题: 我想在网站上选择“Origen”和“Date”选项,但我并没有所有的HTML代码 有人能给我一个提示,如何刮取所有动态生成的html代码吗 谢谢,selenium的优点是,您可以从程序中启动浏览器会话,并在javascript中启用事件(如本例中的scroll) 如果没有什么意义,请告诉我 In [8]: from bs4 import BeautifulSoup In [9]: from selenium import webdriver

我目前在这方面遇到了动态生成html代码的问题:

我想在网站上选择“Origen”和“Date”选项,但我并没有所有的HTML代码

有人能给我一个提示,如何刮取所有动态生成的html代码吗


谢谢,

selenium的优点是,您可以从程序中启动浏览器会话,并在javascript中启用事件(如本例中的scroll)

如果没有什么意义,请告诉我

In [8]: from bs4 import BeautifulSoup

In [9]: from selenium import webdriver

In [10]: driver = webdriver.Firefox()

In [11]: driver.get('http://cavemendev.com')

In [12]: html = driver.page_source

In [13]: soup = BeautifulSoup(html)

In [14]: driver.execute_script("window.scrollTo(0, Y)")

In [15]: for tag in soup.find_all('title'):
   ....:     print tag.text