使用html单元点击链接会返回相同的页面,然后在java中变成死锁状态

使用html单元点击链接会返回相同的页面,然后在java中变成死锁状态,java,htmlunit,Java,Htmlunit,我最近读到,通过html单元,我们可以模拟页面 我的论文也有类似的要求。我必须将特定链接的所有注释都提取到我的数据库中。我目前正在雅虎新闻上工作 假设我正在使用“http://news.yahoo.com/yemen-says-regional-al-qaedas-deputy-head-dead-184541137.html“链接。 目前该链接中有125条评论。10显示当我打开页面查看更多评论时,我必须按“更多”链接,然后ajax请求进入服务器并显示10条评论。现在,我使用以下代码获取所有注释

我最近读到,通过html单元,我们可以模拟页面

我的论文也有类似的要求。我必须将特定链接的所有注释都提取到我的数据库中。我目前正在雅虎新闻上工作

假设我正在使用“http://news.yahoo.com/yemen-says-regional-al-qaedas-deputy-head-dead-184541137.html“链接。 目前该链接中有125条评论。10显示当我打开页面查看更多评论时,我必须按“更多”链接,然后ajax请求进入服务器并显示10条评论。现在,我使用以下代码获取所有注释

       String google = "http://news.yahoo.com/yemen-says-regional-al-qaedas-deputy-  head-dead-184541137.html";


        WebClient webClient = new WebClient();
         HtmlPage page1 = webClient.getPage(google);
         HtmlAnchor advancedSearchAn = (HtmlAnchor)page1.getElementById("ugccmt-view-more");


        while(true){
            if(advancedSearchAn == null){
                String text = page1.asText();
           System.out.println(text);
                break;
            }
           page1 = advancedSearchAn.click();
           advancedSearchAn = (HtmlAnchor)page1.getElementById("ugccmt-view-more");

有谁能告诉我我在这段代码中做错了什么,因为它只给了我同一页的前10条注释。

考虑到您收到了AJAX请求,您是否考虑过设置AJAX控制器(请参阅),或者在继续之前检查评论是否已加载。Lee感谢您的回复,但在发布我的问题之前,我已经尝试了您推荐的URL。关于这件事,你还有别的想法吗?