Java 如何使用Jsoup在单个网站上爬行？

我从一个网站主页开始。我正在解析整个网页，我正在收集该主页上的所有链接，并将它们放入队列中。然后，我从队列中删除每个链接，并执行相同的操作，直到获得所需的文本。然而，如果我得到一个像youtube.com/something这样的链接，那么我将访问youtube上的所有链接。我想限制这一点

我只想在同一个域中爬行。我该怎么做

private void crawler() throws IOException {
    while (!q.isEmpty()){
        String link  = q.remove();
        System.out.println("------"+link);
        Document doc = Jsoup.connect(link).ignoreContentType(true).timeout(0).get();
        if(doc.text().contains("publicly intoxicated behavior or persistence")){
            System.out.println("************ On this page ******************");
            System.out.println(doc.text());
            return;
        }
        Elements links = doc.select("a[href]");
        for (Element link1 : links){ 
            String absUrl = link1.attr("abs:href");
            if (absUrl == null || absUrl.length() == 0) {
                continue;
            }
//          System.out.println(absUrl);
            q.add(absUrl);
        }
    }
}

演示如何编写web爬虫程序。下一行强制所有爬网链接位于

mit.edu

域中

if（link.attr（“href”）.contains（“mit.edu”）

这行代码可能有错误，因为相对URL没有域。我建议添加

abs:

可能更好

if（link.attr（“abs:href”）.contains（“mit.edu”））