如何使用python创建动态网站

我从抓取开始，我试图从具有动态内容的web抓取开始。首先，我想试试这个网站

我想收拾桌子

---

日期比赛表面Rd Rk vRk得分更高DR A%DF%1stIn 1st%2nd%BPSvd Time

对于抓取动态网站，我建议您阅读selenium，以模拟浏览器交互，并能够获得动态更改的DOM元素

他们有一些起始示例，firefox有一个名为SeleniumIDE的插件，它允许您生成测试，从中您可以开始学习如何做您想要做的事情

SeleniumIDE不仅允许您使用它创建python单元测试，还允许您使用JUnit和其他语言

这里有一个来自中国的例子

这允许你在雅虎上进行搜索，并像在浏览器中一样发送查询seleniumhq

如果您希望检索一个值，而不仅仅是使用find\u元素按\u id、name等。。并获取其文本、html等

---

另外，如果这是为了刮取大量DOM页面，FirefoxWebDriver可能不是最好的解决方案。在这种情况下，最好的选择是完全无头，像phantomjs这样的Web驱动程序是最好的选择。

如果您已经开始使用刮削。我最好建议你看看：。粗糙的框架。这将是一个好的开始。而且，正如@Andre所提到的，您可以使用selenium作为动态内容？谢谢你的建议

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

browser = webdriver.Firefox()

browser.get('http://www.yahoo.com')
assert 'Yahoo!' in browser.title

elem = browser.find_element_by_name('p')  # Find the search box
elem.send_keys('seleniumhq' + Keys.RETURN)

browser.quit()