Ruby获取带有动态内容的HTML源代码

我试图加载页面的动态内容以及静态HTML。例如，如果我只是加载HTML，它将丢失页面底部的大推荐框。我知道我可以使用

html = open(url).read

---

但同样，这将丢失页面加载时显示的动态内容。我怎样才能得到与浏览网站时得到的内容相匹配的完整HTML？谢谢

我通过使用ruby gem和设置用户代理解决了我的问题。虽然不一定是对我的问题的回答，但我将user_agent设置为搜索机器人，带有javascript的页面会以一种不太动态的形式显示出来。

watir也可能对您有所帮助。

您还需要运行javascript。我听说Selenium可以在这里提供帮助。如果我错了，请纠正我，但似乎Selenium更适合执行自动化任务和测试。我只需要执行页面加载。我正在寻找网页上的信息，这些信息通常是动态加载的，而不是在html源代码中。当你在浏览器上查看源代码时，你仍然没有得到我想要的信息。我用过capybara来做这样的事情：如果我不需要javascript执行，capybara就可以工作。所有支持js的驱动程序都需要一些其他的框架（qt用于webkit，phantomjs用于poltergeist，firefox用于selenium），我将把它部署到一个heroku服务器上，在那里我无法真正安装这些库。