Web applications 网络爬虫应用

有谁可以推荐一个网站爬虫，它可以向我显示我网站中的所有链接吗？

只要你是网站的所有者（即，你拥有所有文件），Adobe Dreamweaver就可以生成所有内部和外部超链接的报告，并报告所有断开的链接（以及孤立文件）。但是，您必须首先在Dreamweaver中设置您的站点。

只要您是站点的所有者（即您拥有所有文件），Adobe Dreamweaver就可以生成所有内部和外部超链接的报告，并报告所有断开的链接（以及孤立文件）。但是，您必须首先在Dreamweaver中设置您的站点。

W3C有我找到的最好的站点

---

W3C有我找到的最好的一个

---

如果您需要对链接进行任何后期处理，我推荐Mechanize的多种变体中的任何一种

在Ruby中：

require "rubygems"
require "mechanize"
require "addressable/uri"

processed_links = []
unprocessed_links = ["http://example.com/"] # bootstrap list
a = WWW::Mechanize.new
until unprocessed_links.empty?
  # This could take awhile, and depending on your site,
  # it may be an infinite loop.  Adjust accordingly.
  processed_links << unprocessed_links.shift
  a.get(processed_links.last) do |page|
    page.links.each do |link|
      link_uri = Addressable::URI.parse(link).normalize
      # Ignore external links
      unprocessed_links << link_uri.to_str if link_uri.host == "example.com"
    end
  end
end

需要“rubygems”
需要“机械化”
需要“可寻址/uri”
已处理的_链接=[]
未处理的_链接=[”http://example.com/“]#引导列表
a=WWW：：Mechanize.new
直到未处理的链接为空？
#这可能需要一段时间，取决于您的站点，
#它可能是一个无限循环。相应地调整。
已处理链接如果您需要对链接进行任何后期处理，我建议您使用Mechanize的多种变体中的任何一种

在Ruby中：

require "rubygems"
require "mechanize"
require "addressable/uri"

processed_links = []
unprocessed_links = ["http://example.com/"] # bootstrap list
a = WWW::Mechanize.new
until unprocessed_links.empty?
  # This could take awhile, and depending on your site,
  # it may be an infinite loop.  Adjust accordingly.
  processed_links << unprocessed_links.shift
  a.get(processed_links.last) do |page|
    page.links.each do |link|
      link_uri = Addressable::URI.parse(link).normalize
      # Ignore external links
      unprocessed_links << link_uri.to_str if link_uri.host == "example.com"
    end
  end
end

需要“rubygems”
需要“机械化”
需要“可寻址/uri”
已处理的_链接=[]
未处理的_链接=[”http://example.com/“]#引导列表
a=WWW：：Mechanize.new
直到未处理的链接为空？
#这可能需要一段时间，取决于您的站点，
#它可能是一个无限循环。相应地调整。
已处理的链接。。。采用了一个简单的C++编码，但它是一个性能优良的网络爬虫基础，可以用来做从链接到索引到数据获取的基本操作。采用了一点C++编码，但它是一个性能优良的网络爬虫基础，可以用来做从链接到索引到数据采集的基本操作。
 < P> XEU是我发现的最好的链接检查工具。它将检查所有链接，然后为您提供查看或导出链接的选项。它是免费的，你可以从他们的网站下载。
Xenu是我找到的最好的链接检查工具。它将检查所有链接，然后为您提供查看或导出链接的选项。这是免费的，你可以从他们的网站下载