使用Java获取动态网页

我想写一个程序，通过登录到一个网站，然后下载一些页面来自动获取信息。我使用HttpURLConnection，并使用cookies管理会话。但是，页面的某些部分（如表）似乎是使用javascript动态生成的

---

我必须在java程序中执行javascript代码吗？

“是”。尽管我怀疑有更好的方法，比如使用一个使用嵌入式Webkit或Gecko内核的库来获取页面——这不仅仅是“运行”JavaScript；JavaScript必须针对特定的DOM/环境执行，才能用于模拟网页呈现。因此，要简单地检索动态生成的表中的数据，我应该使用Webkit还是Gecko？有没有一种方法可以在不打开Chrome窗口的情况下通过Chrome进行交互？嗯，不是“需要”-但我见过的大多数将JavaScript应用于DOM的库（例如，高级HTML到PDF转换器）都使用现有的web浏览器“核心”（Chrome是Webkit的一种变体）-因此，他们在下面有效地使用了非用户界面版本的Chrome/IE/FF。这些库以“无头”模式使用渲染/JavaScript引擎。