是否有适用于PHP或Ruby的web爬虫库？

是否有适用于PHP或Ruby的web爬虫库？一个能做到深度优先或广度优先的图书馆。。。甚至在使用href=“../relative_path.html”和基本url时也可以处理链接。

查看此页面以了解Ruby库：

---

我想说的是，你仍然要对你的爬虫穿越网站的方式负责。

你可以选择ruby中的webrat或watir，

---

要比机械化容易得多

如果你想学习基本的网络爬虫和搜索功能，你可以开始学习“luna engine”。

如果你需要刮取使用javascript的网页，你可以使用驱动程序来启动真正的浏览器，例如。它通常与验收测试的测试框架一起使用，但也可以在测试框架之外使用