使用html单元点击链接会返回相同的页面,然后在java中变成死锁状态
我最近读到,通过html单元,我们可以模拟页面 我的论文也有类似的要求。我必须将特定链接的所有注释都提取到我的数据库中。我目前正在雅虎新闻上工作 假设我正在使用“http://news.yahoo.com/yemen-says-regional-al-qaedas-deputy-head-dead-184541137.html“链接。 目前该链接中有125条评论。10显示当我打开页面查看更多评论时,我必须按“更多”链接,然后ajax请求进入服务器并显示10条评论。现在,我使用以下代码获取所有注释使用html单元点击链接会返回相同的页面,然后在java中变成死锁状态,java,htmlunit,Java,Htmlunit,我最近读到,通过html单元,我们可以模拟页面 我的论文也有类似的要求。我必须将特定链接的所有注释都提取到我的数据库中。我目前正在雅虎新闻上工作 假设我正在使用“http://news.yahoo.com/yemen-says-regional-al-qaedas-deputy-head-dead-184541137.html“链接。 目前该链接中有125条评论。10显示当我打开页面查看更多评论时,我必须按“更多”链接,然后ajax请求进入服务器并显示10条评论。现在,我使用以下代码获取所有注释
String google = "http://news.yahoo.com/yemen-says-regional-al-qaedas-deputy- head-dead-184541137.html";
WebClient webClient = new WebClient();
HtmlPage page1 = webClient.getPage(google);
HtmlAnchor advancedSearchAn = (HtmlAnchor)page1.getElementById("ugccmt-view-more");
while(true){
if(advancedSearchAn == null){
String text = page1.asText();
System.out.println(text);
break;
}
page1 = advancedSearchAn.click();
advancedSearchAn = (HtmlAnchor)page1.getElementById("ugccmt-view-more");
有谁能告诉我我在这段代码中做错了什么,因为它只给了我同一页的前10条注释。考虑到您收到了AJAX请求,您是否考虑过设置AJAX控制器(请参阅),或者在继续之前检查评论是否已加载。Lee感谢您的回复,但在发布我的问题之前,我已经尝试了您推荐的URL。关于这件事,你还有别的想法吗?