使用Python和Selenium通过JavaScript动态生成html
我目前在这方面遇到了动态生成html代码的问题: 我想在网站上选择“Origen”和“Date”选项,但我并没有所有的HTML代码 有人能给我一个提示,如何刮取所有动态生成的html代码吗使用Python和Selenium通过JavaScript动态生成html,python,selenium,dynamic-html,Python,Selenium,Dynamic Html,我目前在这方面遇到了动态生成html代码的问题: 我想在网站上选择“Origen”和“Date”选项,但我并没有所有的HTML代码 有人能给我一个提示,如何刮取所有动态生成的html代码吗 谢谢,selenium的优点是,您可以从程序中启动浏览器会话,并在javascript中启用事件(如本例中的scroll) 如果没有什么意义,请告诉我 In [8]: from bs4 import BeautifulSoup In [9]: from selenium import webdriver
谢谢,selenium的优点是,您可以从程序中启动浏览器会话,并在javascript中启用事件(如本例中的scroll) 如果没有什么意义,请告诉我
In [8]: from bs4 import BeautifulSoup
In [9]: from selenium import webdriver
In [10]: driver = webdriver.Firefox()
In [11]: driver.get('http://cavemendev.com')
In [12]: html = driver.page_source
In [13]: soup = BeautifulSoup(html)
In [14]: driver.execute_script("window.scrollTo(0, Y)")
In [15]: for tag in soup.find_all('title'):
....: print tag.text