Hyperlink 有没有办法找到所有的页面';通过URL链接?

Hyperlink 有没有办法找到所有的页面';通过URL链接?,hyperlink,scraper,Hyperlink,Scraper,如果我有一个链接这么说,我可以得到雅虎内部的链接?例如,我有一个网站,我知道只有5页主页、关于、公文包、常见问题解答、联系人,所以我可以通过编程获得以下链接吗 http://umair.com/index.html http://umair.com/about.html http://umair.com/portfolio.html http://umair.com/faq.html http://umair.com/contact.html 定义“雅虎内部链接”的含义 您是指在“”返回的页面

如果我有一个链接这么说,我可以得到雅虎内部的链接?例如,我有一个网站,我知道只有5页主页、关于、公文包、常见问题解答、联系人,所以我可以通过编程获得以下链接吗

http://umair.com/index.html
http://umair.com/about.html
http://umair.com/portfolio.html
http://umair.com/faq.html
http://umair.com/contact.html
定义“雅虎内部链接”的含义

您是指在“”返回的页面上有链接指向的所有页面吗?如果是这样,您可以读取HTTP GET请求返回的HTML,并通过它进行解析,以寻求帮助

如果您的意思是“该域服务器上的所有页面”,则可能不是。大多数网站都会定义一个默认页面,当您没有明确请求时,您会得到该页面。(例如,几乎可以肯定地要求退货)。很少有网站不定义默认值,他们会返回一个文件列表


如果您的意思是“服务器上该域的所有页面,即使它们定义了默认页面”,则不能这样做。这将是对安全性的极端破坏。

这可以由网络爬虫来完成,请阅读一些关于它的基本信息:

http://en.wikipedia.org/wiki/Web_crawler

包括开源爬虫,看看是否有你想要的。你提到的最后一段是我的问题。你是说这是不可能的,但如果你知道一个名为WebCopier的工具,那就可以了。没有?谢谢,我已经知道了。我需要问我是否可以克服服务器中的默认页面设置?