Java 您可以使用httpclient递归下载路径吗?

Java 您可以使用httpclient递归下载路径吗?,java,httpclient,Java,Httpclient,我想知道——是否可以通过httpclient或类似的Java库递归下载路径(就像您可以使用wget-r…)?我是否需要从头开始实现这个功能,或者是否有可以使用的现有库/爬虫程序 您有什么建议吗?我不知道有哪个库有直接的方法。但我的解决方案是: 1) 用于获取链接 Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/"); Elements links = doc.select("a[href]"); // a with

我想知道——是否可以通过httpclient或类似的Java库递归下载路径(就像您可以使用
wget-r…
)?我是否需要从头开始实现这个功能,或者是否有可以使用的现有库/爬虫程序


您有什么建议吗?

我不知道有哪个库有直接的方法。但我的解决方案是:

1) 用于获取链接

Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");

Elements links = doc.select("a[href]"); // a with href
2) 现在下载所有文件。如果可以使用,请执行以下操作:

 FileUtils.copyURLToFile(URL source, File destination);
否则

byte[] bytes = Jsoup.connect(imgUrl).ignoreContentType(true).execute().bodyAsBytes();