Java获取任何网站的所有网页（站点地图）

我想得到一个网站的所有网页，例如bbc网站（bbc.co.uk），它会得到，等等

我可以考虑这样做的一种方法是从主页开始收集所有链接，并对主页上的每个链接网页进行相同的收集。基本上，最终目标是为任何网站生成站点地图

有谁有比这更有效的解决方案吗

---

谢谢。

硒也可以达到同样的效果

WebDriver driver = new FirefoxDriver();
driver.load("http://bbc.co.uk");
// get all links from page
List<WebElement> links = driver.findElements(By.tagName("a"));
for(WebElement link : links){
   // Store link and do something
}

WebDriver=newfirefoxdriver（）；
驱动程序加载（“http://bbc.co.uk");
//从页面获取所有链接
列表链接=driver.findElements（按.tagName（“a”））；
用于（WebElement链接：链接）{
//存储链接并做一些事情
}

我发现了一个用java编写的免费开源站点地图生成器，您可以在这里修改它

---

是否有相关文档？在提供的链接上，我似乎找不到任何链接。