Search 如何抓取网页并获取包含一些关键字的网站列表

我需要扫描整个网站，并获得在我的字典中有一些关键字的网站链接

我需要从web上动态获取URL和其他URL。有人能为我推荐可以完成这一任务的程序或工具吗。

请检查以下内容：-

• 用于索引的Lucene/ApacheSolr
• Perl LWP模块

---

这是我们做的一个学校项目。