获取由浏览器呈现的完全加载的java网页源代码

获取由浏览器呈现的完全加载的java网页源代码,java,javascript,selenium,web-scraping,Java,Javascript,Selenium,Web Scraping,很少有网页在页面加载期间或页面加载之后使用javascript/ajax调用来填充页面中的某些字段。一个例子是使用javascript填充大小下拉框中的内容 可以在Java中获得这种类型的完全加载页面吗?我认为,仅仅使用HttpClient或其他方法是不够的,但是使用Selenium,如果可以做到这一点,那将非常棒 我想一些通用的解决方案,可以适用于所有网站 任何输入/指针都将不胜感激 谢谢 JitendraSelenium通过不同的实现支持这种模拟。其中一个是(无头java浏览器)-看一看。谢

很少有网页在页面加载期间或页面加载之后使用javascript/ajax调用来填充页面中的某些字段。一个例子是使用javascript填充大小下拉框中的内容

可以在Java中获得这种类型的完全加载页面吗?我认为,仅仅使用HttpClient或其他方法是不够的,但是使用Selenium,如果可以做到这一点,那将非常棒

我想一些通用的解决方案,可以适用于所有网站

任何输入/指针都将不胜感激

谢谢


Jitendra

Selenium通过不同的实现支持这种模拟。其中一个是(无头java浏览器)-看一看。

谢谢bozho,有一件事我想知道,它是否需要特定于站点的编码。我的意思是我不想检查页面的代码,然后调用适当的函数。我想要一些普通的soln,但我一定会尝试一下。嗨,波佐。我试过webdriver和HtmlUnit。但两者都只是返回html页面内容