Perl web爬行框架

多年来，我一直在使用Perl为各种不同的目的进行爬网和爬网，有一件事一直困扰着我，那就是有大量用于小规模爬网和爬网的CPAN模块，如LWP、WWW:：Mechanize、Web:：Scraper、AnyEvent:：HTTP，现在还有Mojo:：UserAgent，与其他语言相比，似乎没有任何爬行框架

例如ApacheNutch（/Droids）和Scrapy（Python）

---

有人知道Perl中有任何等效的项目吗？

您可能需要看看诸如或之类的模块

---

我认为他们的名字中还有一些是。

看到了，非常有趣的感谢，尽管正如字符串中所指出的，斯瓦西似乎停滞不前了。那里的工具汇编很好，但仍然缺乏框架谢谢-HTML:：Robot:：scraser似乎最接近我的想法；根据Python的Scrapy，Perl最好有一个规范的、完整的爬行框架和完整的交互式shell等。有点像Mojolicous/Dancer等，只用于可扩展的、并行的、分布式爬行。Mojolicious把我带回到Perl for web dev，不得不说Python/Ruby中的抓取框架正在吸引我：/那你为什么不为Perl实现最棒的抓取模块呢？哈哈，我很乐意-很遗憾，现在有点超出我的技能水平，但也许有一天：）