Ruby 使用Mechanize检索网站的所有链接

如何使用

Mechanize

库查找网站上的所有链接

我喜欢递归解析内部链接，以便获取网站的所有链接。

你看过gem吗？它是专门为爬行网站创建的

您可以这样做来抓取并打印网站的所有链接：

require 'anemone'

Anemone.crawl("http://www.example.com/") do |anemone|
  anemone.focus_crawl { |page| puts page.links }
end

---

如果您想爬行整个方面，排除某些类型的链接，或者排除类似的链接，那么可以选择这些选项。

不是ruby解决方案，但我觉得简单有效