Web crawler 需要网络爬网帮助

嗨，我正在完成我的一个小爱好项目来创建一个小规模的搜索引擎

我想知道是否有人知道他们使用过一个相当健壮的开源网络爬虫？noob应该很容易设置和使用

感谢您不用谷歌搜索网络爬虫并粘贴列表。

是一个相当不错的爬虫程序，多线程，易于配置和使用。它是用Java编写的

---

你可以在这里找到一个开源爬虫列表。

我认为你应该阅读类似的经历