学习多线程Java爬虫的良好开端

学习多线程Java爬虫的良好开端,java,multithreading,web-crawler,Java,Multithreading,Web Crawler,我正在用Java开发一个网络爬虫。我正在寻找一个很好的项目来开发基于它的爬虫。然而,实际上有超过几百个用Java编写的爬虫程序。我要找的是一个相当简单的爬虫程序,它有: 多线程功能 好成绩 基于最新Java版本和新技术实施 一份好的文件 没有很多不必要的功能(膨胀) 能够轻松集成到我的项目中 我要找的是一个相当简单的爬虫 你不会真的发现,爬虫一点都不简单!举例来说,拥有这些功能并不简单(特别是最后一点): 多线程功能 好成绩 基于最新的Java构建和新技术实现 一份好的文件 没有很多不必要

我正在用Java开发一个网络爬虫。我正在寻找一个很好的项目来开发基于它的爬虫。然而,实际上有超过几百个用Java编写的爬虫程序。我要找的是一个相当简单的爬虫程序,它有:

  • 多线程功能
  • 好成绩
  • 基于最新Java版本和新技术实施
  • 一份好的文件
  • 没有很多不必要的功能(膨胀)
  • 能够轻松集成到我的项目中
我要找的是一个相当简单的爬虫

你不会真的发现,爬虫一点都不简单!举例来说,拥有这些功能并不简单(特别是最后一点):

  • 多线程功能
  • 好成绩
  • 基于最新的Java构建和新技术实现
  • 一份好的文件
  • 没有很多不必要的功能(膨胀)
  • 能够轻松集成到我的项目中
Nutch是一个功能齐全的Java爬虫程序,可以满足您的大多数需求:


此外,我建议您查看以下问题:

谢谢。我会调查的。