Java 为什么不'；即使我等待站点完成加载，我也不能获取数据吗？

我有一个问题与我想要从中获取数据的站点的功能有关。 实际上，当我下载网站的HTML时，它会下载所有内容，但不会下载我想要的数据，我注意到，当你在我想要的数据出来之前打开网站时，会有一个缓冲gif，因此我添加了几秒钟的延迟（我也尝试了几分钟，但结果没有改变），以允许htmlUnit加载网站，但显然，问题不是这个。我整个下午都在寻找答案，但什么也没找到

我把网站留给你：

以及守则：

import com.gargoylesoftware.htmlunit.*; 
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import java.io.IOException;

public class Scraper {
    private static final String url="https://www.finderbet.it/surebet/";
    public static void main(String[] args) {

        WebClient client= new WebClient(BrowserVersion.BEST_SUPPORTED);
        client.getOptions().setCssEnabled(false);
        client.getOptions().setJavaScriptEnabled(false);

        try {
            HtmlPage page= client.getPage(url);
            Thread.sleep(10000);
            System.out.println(page.asXml());
        } catch (IOException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }

    }

}

您看到的“缓冲区”是一个AJAX调用——如果您直接调用它。。它提供了您要查找的数据。即

finderbet.it/wp-json/bet/v1/getItems

您可以使用

get

参数来过滤JSON，包括分页

https://www.finderbet.it/wp-json/bet/v1/getItems?surebet_do_set_filter=NOPE&action-set-filtri_nonce=d20ddf9c95&bookmakers=&sports=&data_evento_da=&data_evento_a=&profitto_min=&puntate=tutti&orderBy=profitto&order=desc&page=1

分为：

https://www.finderbet.it/wp-json/bet/v1/getItems
    surebet_do_set_filter=NOPE
    action-set-filtri_nonce=d20ddf9c95
    bookmakers=
    sports=
    data_evento_da=
    data_evento_a=
    profitto_min=
    puntate=tutti
    orderBy=profitto
    order=desc
    page=1

您看到的“缓冲区”是一个

AJAX

调用——如果您直接调用它的话。。它提供了您要查找的数据。IE——您可以使用

get

参数来过滤JSON。