Java 使用HtmlUnit时未获取实际内容(响应正常,即200,但下载内容中缺少网页上显示的数据)
我在为其他网站使用此代码时得到了正确的htmlContent,但有一个网站不起作用(见下文)。请告知我还能做些什么Java 使用HtmlUnit时未获取实际内容(响应正常,即200,但下载内容中缺少网页上显示的数据),java,webclient,htmlunit,htmlunit-driver,Java,Webclient,Htmlunit,Htmlunit Driver,我在为其他网站使用此代码时得到了正确的htmlContent,但有一个网站不起作用(见下文)。请告知我还能做些什么 public class Test3 { public static void main(String[] args) throws FailingHttpStatusCodeException, MalformedURLException, IOException { String url = "https : / / altera . w
public class Test3 {
public static void main(String[] args) throws FailingHttpStatusCodeException, MalformedURLException, IOException {
String url = "https : / / altera . wd1 . myworkdayjobs . com / Altera / jobs";
String content = HtmlPageFetcher.fetchPage(url, "firefox", 50000);
System.out.println(content);
}
public static String fetchPage(String url, String browser, long delayinmillis) {
WebClient webClient;
webClient = new WebClient(BrowserVersion.FIREFOX_17);
webClient.getOptions().setCssEnabled(false);
webClient.getOptions().setThrowExceptionOnScriptError(false);
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
webClient.getOptions().setUseInsecureSSL(true);
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
String content="";
try {
HtmlPage page = webClient.getPage(url);
webClient.waitForBackgroundJavaScript(delayinmillis);
content = page.asXml();
webClient.closeAllWindows();
webClient = null;
} catch (Exception e) {
e.printStackTrace();
} finally {
if(webClient!=null)
webClient.closeAllWindows();
}
return content;
}
我也试过CHROME和IE。网页上的数据是由JSON填充的(正如我通过chrome中的inspect元素看到的)进行了一个小的修复
请从maven或从中获取最新快照。仅此问题的url格式不正确,所以?我以前从未使用过GWT。你能推荐他们中的任何一个吗?他们应该是自由的,对吗?