Java 如何获取所有页面内容?

Java 如何获取所有页面内容?,java,Java,我想获取网站Examp的所有页面内容: 我使用了以下代码: String getResults(URL source) throws IOException { InputStream in = source.openStream(); StringBuffer sb = new StringBuffer(); byte[] buffer = new byte[256]; while(true) { in

我想获取网站Examp的所有页面内容:

我使用了以下代码:

 String getResults(URL source) throws IOException {

        InputStream in = source.openStream();
        StringBuffer sb = new StringBuffer();
        byte[] buffer = new byte[256];
        while(true) {
            int bytesRead = in.read(buffer);
            if(bytesRead == -1) break;
            for (int i=0; i<bytesRead; i++)
                sb.append((char)buffer[i]);
        }
        return sb.toString();
    }
String getResults(URL源)引发IOException{
InputStream in=source.openStream();
StringBuffer sb=新的StringBuffer();
字节[]缓冲区=新字节[256];
while(true){
int bytesRead=in.read(缓冲区);
如果(字节读==-1)中断;

对于(int i=0;i作者详细信息是通过ajax调用加载的(单击firebug中的“Net”选项卡并重新加载页面)。如果要获取这些详细信息,必须在执行javascript的环境中加载页面(即:浏览器).

我非常确定这些内容是通过JavaScript加载到页面中的,从Java检索页面文本时,您实际上无法做到这一点。您可能会想要一个浏览器插件(Firefox拥有最大的插件库).

谢谢,我怎样才能获得这些内容?Selenium是一个ui测试框架,也可以用于webscraping:我怎样才能获得这些内容?谢谢