HtmlUnit没有';我无法处理javascript

HtmlUnit没有';我无法处理javascript,java,web-scraping,htmlunit,Java,Web Scraping,Htmlunit,我已经尝试了Stackoverflow中提到的几乎所有方法,但没有一种有效 我正在尝试使用HtmlUnit抓取以下页面: 只返回了一个空页。它应该是由javascript问题引起的。我在HtmlUnit中尝试了以下技巧:waitForBackgroundJavaScript、刷新、重定向、睡眠、启用javascript、单击(true、true、true)等等。它们都不起作用 任何建议: 我的代码: String url = "http://www.nseindia.com/corporate

我已经尝试了Stackoverflow中提到的几乎所有方法,但没有一种有效

我正在尝试使用HtmlUnit抓取以下页面:

只返回了一个空页。它应该是由javascript问题引起的。我在HtmlUnit中尝试了以下技巧:waitForBackgroundJavaScript、刷新、重定向、睡眠、启用javascript、单击(true、true、true)等等。它们都不起作用

任何建议:

我的代码:

String url = "http://www.nseindia.com/corporates/offerdocument/past_issue_document.htm";
WebClient webClient = new WebClient(BrowserVersion.INTERNET_EXPLORER_8);
webClient.setJavaScriptEnabled(true);
HtmlPage page = (HtmlPage) webClient.getPage(url);
this.getWebClient().waitForBackgroundJavaScriptStartingBefore(5000);
System.out.println(page.asXml());

非常感谢

我曾经有过类似的问题。我通过使用firefox开发插件解决了这个问题,该插件记录javascript页面执行的所有请求。然后我直接从HtmlUnit模拟这些请求(只需从请求日志中grep请求,粘贴它们并注入sessionid misc参数,这些参数通常很容易识别。在处理使用大量ajax的站点时特别有用。

我曾经遇到过类似的问题。我通过使用firefox开发插件解决了这个问题,该插件记录javascript页面的所有请求。然后我进行了模拟d直接从HtmlUnit获取这些请求(只需从请求日志中grep请求,粘贴它们并注入sessionid misc参数,这些参数通常很容易识别。在处理使用大量ajax的站点时特别有用。

指向您尝试过的其他方法的链接将非常有用。如果页面使用ajax,您可能需要
webClient.setAjaxController(新建NicelyResynchronizingAjaxController());
。这将导致AJAX阻止调用,直到调用完成。指向您尝试过的其他方法的链接将非常有用。如果页面使用AJAX,您可能需要
webClient.setAjaxController(新建NicelyResynchronizingAjaxController())
。这将导致AJAX阻止调用,直到调用完成。最后,我放弃了直接访问它。相反,我从他们的服务器上劫持了响应json文件并进行处理。这个India SE网站真的很烂!总是关闭!最后,我放弃了直接访问它。相反,我从他们的服务器上劫持了响应json文件并努力吧。这个印度SE网站真的很烂!总是不好!