Java 如何获取所有页面内容?
我想获取网站Examp的所有页面内容: 我使用了以下代码:Java 如何获取所有页面内容?,java,Java,我想获取网站Examp的所有页面内容: 我使用了以下代码: String getResults(URL source) throws IOException { InputStream in = source.openStream(); StringBuffer sb = new StringBuffer(); byte[] buffer = new byte[256]; while(true) { in
String getResults(URL source) throws IOException {
InputStream in = source.openStream();
StringBuffer sb = new StringBuffer();
byte[] buffer = new byte[256];
while(true) {
int bytesRead = in.read(buffer);
if(bytesRead == -1) break;
for (int i=0; i<bytesRead; i++)
sb.append((char)buffer[i]);
}
return sb.toString();
}
String getResults(URL源)引发IOException{
InputStream in=source.openStream();
StringBuffer sb=新的StringBuffer();
字节[]缓冲区=新字节[256];
while(true){
int bytesRead=in.read(缓冲区);
如果(字节读==-1)中断;
对于(int i=0;i作者详细信息是通过ajax调用加载的(单击firebug中的“Net”选项卡并重新加载页面)。如果要获取这些详细信息,必须在执行javascript的环境中加载页面(即:浏览器).我非常确定这些内容是通过JavaScript加载到页面中的,从Java检索页面文本时,您实际上无法做到这一点。您可能会想要一个浏览器插件(Firefox拥有最大的插件库).谢谢,我怎样才能获得这些内容?Selenium是一个ui测试框架,也可以用于webscraping:我怎样才能获得这些内容?谢谢