JAVA:一次下载多个文件的最快方法?

JAVA:一次下载多个文件的最快方法?,java,download,Java,Download,我写了一个“爬虫”,它可以选择指定“线程”的数量。这个想法是,如果用户指定5个线程,爬虫程序实际上会尝试一次下载5个网页。换句话说,我需要: 最快的方式, 下载多个HTML页面 在爪哇 但它还必须: 能够告诉我响应代码(200、404等) 确定MIME类型-->最好只获取标题(这样我就不必下载整个100 Mb的文件来找出它是HTML) 在PHP中,我会考虑诸如卷曲,或狂饮之类的东西,甚至在某些情况下,甚至可能是“FielyGETX内容”。然而,我不知道Java中最快的方法是什么。有人能告

我写了一个“爬虫”,它可以选择指定“线程”的数量。这个想法是,如果用户指定5个线程,爬虫程序实际上会尝试一次下载5个网页。换句话说,我需要:

  • 最快的方式,
  • 下载多个HTML页面
  • 在爪哇
但它还必须:

  • 能够告诉我响应代码(200、404等)
  • 确定MIME类型-->最好只获取标题(这样我就不必下载整个100 Mb的文件来找出它是HTML)

在PHP中,我会考虑诸如卷曲,或狂饮之类的东西,甚至在某些情况下,甚至可能是“FielyGETX内容”。然而,我不知道Java中最快的方法是什么。有人能告诉我吗?

使用某种
执行器服务
——还有,到目前为止您尝试了什么?你试过下载一个页面吗?每个页面都有自己的附加线程来处理图像、脚本和CSS资源吗?现在我不需要下载图像、CSS等。scaper只获取实际的HTML页面。这就是为什么我需要一种方法来检查文件的“类型”,所以只能考虑HTML/文本。